Исследователи Microsoft заявили, что разработали сверхэффективную модель ИИ, которая может работать на CPU

Исследователи Microsoft заявили, что создали самую масштабную на сегодняшний день 1-битную модель ИИ, также известную как «битнет». Модель получила название BitNet b1.58 2B4T, она открыта для использования по лицензии MIT и может запускаться на процессорах, включая Apple M2.

Битнеты — это сжатые модели, предназначенные для работы на маломощном оборудовании. В обычных моделях веса — значения, определяющие внутреннюю структуру модели — часто квантуются, чтобы обеспечить эффективную работу на различных устройствах. Квантование снижает количество битов, необходимых для представления этих весов, что позволяет моделям работать на чипах с меньшим объёмом памяти и с большей скоростью.

В битнетах веса квантуются до всего трёх значений: -1, 0 и 1. Теоретически это делает их значительно более эффективными с точки зрения памяти и вычислений по сравнению с большинством современных моделей.

По словам исследователей, BitNet b1.58 2B4T — это первый битнет с 2 миллиардами параметров (а «параметры» по сути означают те же веса). Он был обучен на датасете, содержащем 4 триллиона токенов — что примерно эквивалентно 33 миллионам книг. Исследователи утверждают, что BitNet b1.58 2B4T превосходит традиционные модели аналогичного размера.

Хотя BitNet b1.58 2B4T не «разрывает» конкурентов с аналогичным числом параметров, он, по-видимому, не уступает им. Согласно результатам тестирования, модель обошла Llama 3.2 1B от Meta, Gemma 3 1B от Google и Qwen 2.5 1.5B от Alibaba по ряду бенчмарков, включая GSM8K (набор задач по математике уровня начальной школы) и PIQA (тесты на физический здравый смысл).

Что ещё более впечатляет — BitNet b1.58 2B4T работает быстрее других моделей такого же размера — в некоторых случаях в два раза быстрее — и при этом использует гораздо меньше памяти.

Однако есть одно «но».

Чтобы достичь таких показателей, необходимо использовать фреймворк Microsoft — bitnet.cpp, который пока работает только на определённом оборудовании. В списке поддерживаемых чипов отсутствуют графические процессоры (GPU), которые сейчас доминируют в инфраструктуре ИИ.

Иными словами, у битнетов есть потенциал — особенно для устройств с ограниченными ресурсами. Но вопрос совместимости остаётся (и, скорее всего, останется) серьёзным препятствием.

1. Репозитарий и видео с описанием доступны по ссылке.

2. Оригинал новости