Практика использования алгоритмов машинного обучения для нормализации данных НСИ в корпоративных системах
Переход компаний с иностранного ПО на системы российского производства сопровождается не только решением технических задач конвертации данных и обновлением серверных операционных систем, но и решением методологических задач, связанных с интеграцией ранее разнородных массивов данных. В момент перехода на другие программные решения, в большинстве случаев, пересматривается наполненность и связность справочных, нормативных и регламентирующий данных, что вскрывает ранее скрытые многочисленные проблемы.
Алгоритмы спекулятивного инференса LLM
ВведениеЗа последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности. Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.
