Алгоритмы спекулятивного инференса LLM
ВведениеЗа последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности. Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.
Nvidia откроет исходный код Run:ai
Nvidia закрыла сделку по приобретению израильской компании-разработчика программного обеспечения для технологий искусственного интеллекта Run:ai. Американская компания планирует открыть исходный код ПО приобретённого стартапа.О приобретении Run:ai
Обзор на разнообразные интерфейсы Stable Diffusion. Automatic1111 — не одинок
Для многих пользователей, занимающихся генерацией изображений с помощью ИИ у себя дома, интерфейс Automatic1111 стал стандартным. Однако мир ИИ-технологий не стоит на месте, и появляются новые инструменты и интерфейсы, которые могут предложить ещё больше возможностей и удобства. В этой статье я рассмотрю, какие альтернативы существуют для Automatic1111 и ComfyUI и почему вам стоит обратить на них внимание. Вы ведь наверняка не слышали о такой штуке, как программа, позволяющая использовать Stable Diffusion для создания и редактирования текстур 3D-моделей с полной UV-разверткой? Или о полноценной бесплатной замене ИИ-инструментария Photoshop, которая доступна совершенно бесплатно и без всяких «но»? Однако статья — не просто подборка случайных программ. Сначала мы изучим основы и немного историю, а затем перейдём к самому интересному.
Как устроена Лаборатория Инноваций СИБУРа и зачем она нужна
Создавать инновации быстро и гибко можно в стартапе или небольшой компании, но что, если ты промышленный гигант с более чем 25 заводами по всей стране, отлаженными процессами и бюджетированием, заточенными под беспрерывное производство, в котором каждая секунда на учёте и некогда экспериментировать? Как реализовывать смелые идеи в таких условиях?
Numenta проведет онлайн-симпозиум по запуску ИИ-фреймворка Thousand Brains Project
Джефф Хокинс, команда Numenta и Thousand Brains Project проведет онлайн-симпозиум по запуску опенсорс-проекта нового ИИ-фреймворка, созданного на основе 20 лет исследований и множества научных публикаций.Ранее я уже писал про Хоккинса на Хабре
Tencent представила Hunyuan-Large — крупнейшую открытую модель с 389 миллиардами параметров
Недавно вышедшая Hunyuan-Large от Tencent, кажется, немного прошла мимо внимания широкой аудитории, а ведь это по-настоящему значимое событие в мире ИИ. На первый взгляд — очередная модель, но на деле — это крупнейшая открытая MoE (Mixture of Experts) модель на основе Transformer с впечатляющими 389 миллиардами параметров и 52 миллиардами активных параметров! Давайте разберёмся, почему это настолько важно и чем Hunyuan-Large может удивить даже искушённых специалистов.
Microsoft Research выпустила Orca 2 LLM, способную сравниться по производительности с крупными моделями
Microsoft Research объявила о выпуске Orca 2, второй версии своей языковой модели Orca. В своём блоге Microsoft заявила, что Orca 2 была разработана как LM меньшего размера, но её всё равно можно использовать для ответов на сложные вопросы наравне с LLM.
