Разработчик выпустил llm.js — библиотеку для запуска больших языковых моделей в браузере

Разработчик под никнеймом rahuldshetty опубликовал ^[1] на GitHub библиотеку llm.js, предназначенную для запуска больших языковых моделей в браузере. Заявлена поддержка GPT-2, LLaMa 2 и других популярных решений.

Сейчас поддерживаются следующие большие языковые модели:

llama-cpp (GGUF/GGML);
LLaMa 2;
Dolly v2;
GPT2;
GPT J;
GPT NEO X;
MPT;
Replit;
StarCoder.

В ближайшее время ожидается, что автор добавит новые модели и форматы. Библиотеку можно использовать в собственных проектах веб-приложений. На сайте llm.js доступна документация ^[2] с подробными инструкциями для интеграции библиотеки.

Для тестов пользователям доступна песочница ^[3] и несколько тестовых проектов (1 ^[4], 2 ^[5], 3 ^[6]). Скорость генерации ожидаемо отличается от полноценных больших языковых моделей. Проект написан на JavaScript, а код опубликован ^[1] на GitHub.

Автор: daniilshat

Источник ^[7]

Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/10703

URLs in this post:

[1] опубликовал: https://github.com/rahuldshetty/llm.js

[2] документация: https://rahuldshetty.github.io/llm.js/#/quick_start

[3] песочница: https://rahuldshetty.github.io/ggml.js-examples/playground.html

[4] 1: https://rahuldshetty.github.io/ggml.js-examples/gpt2_roleplay.html

[5] 2: https://rahuldshetty.github.io/ggml.js-examples/llama2_tinystories.html

[6] 3: https://rahuldshetty.github.io/ggml.js-examples/starcoder.html

[7] Источник: https://habr.com/ru/news/776054/?utm_source=habrahabr&utm_medium=rss&utm_campaign=776054

Нажмите здесь для печати.