Разработчик под никнеймом rahuldshetty опубликовал на GitHub библиотеку llm.js, предназначенную для запуска больших языковых моделей в браузере. Заявлена поддержка GPT-2, LLaMa 2 и других популярных решений.
Сейчас поддерживаются следующие большие языковые модели:
-
llama-cpp (GGUF/GGML);
-
LLaMa 2;
-
Dolly v2;
-
GPT2;
-
GPT J;
-
GPT NEO X;
-
MPT;
-
Replit;
-
StarCoder.
В ближайшее время ожидается, что автор добавит новые модели и форматы. Библиотеку можно использовать в собственных проектах веб-приложений. На сайте llm.js доступна документация с подробными инструкциями для интеграции библиотеки.
Для тестов пользователям доступна песочница и несколько тестовых проектов (1, 2, 3). Скорость генерации ожидаемо отличается от полноценных больших языковых моделей. Проект написан на JavaScript, а код опубликован на GitHub.
Автор: daniilshat
