LCPO меняет подход к обучению AI, снижая затраты на вычисления
Процесс рассуждения через цепочку (Chain-of-Thought, CoT) — это метод, при котором модели разбивают задачи на управляемые «мысли», прежде чем искать ответ. Этот подход стал важной частью современных больших языковых моделей (LLMs). Однако такие модели могут создавать высокие затраты на вычисления из-за большого количества генерируемых CoT-токенов. В новой работе исследователи из Университета Карнеги-Меллона предложили технику обучения языковых моделей, которая дает разработчикам больше контроля над длиной CoT.
Считаем количество токенов для LLM в исходниках ядра Linux и не только…
Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем „препарировать“:MySQLVS Code
