Fine tuning или RAG. Что выбрать?
При разработке ИИ чатов существует два способа интеграции внешних данных: RAG хранилища и Fine tuning. Для не технаря отличия не очевидны, я столкнулся с мнением менеджера проекта, что первое это новая версия второго. Это не так. Поэтому, я сделал short summary, чтобы по существу изложить плюсы и минусы двух решенийЧто такое RAG?Языковые модели умеют запускать python/javascript функции через tool_calls. Делается такая функция, ей на вход аргумент search
Fine tuning роя агентов
Исходный код, разобранный в статье, опубликован в этом репозиторииВ вакансиях LLM инженеров присутствует слово RAG. Это подразумевает интеграцию во внешнюю базу данных, например, PostgreSQL с PGVector или MongoDB Atlas Vector Search.
Балансировка нагрузки LLM через Nginx
Исходный код, разобранный в статье, опубликован в этом репозиторииВ интернете существует множество примеров, которые позволяют подключить ChatGPT 3.5 без инструментов к телеграм боту. Однако, когда речь заходит о большом количестве пользователей, не существуют примеров распределения нагрузки по нескольким процессам: все туториалы в интернете запускают монолит с одной репликой
Применение роя агентов в криптовалютном телеграм боте
Исходный код, разобранный в статье, опубликован в этом репозиторииOpenAI развивает технологию роя агентов искусственного интеллекта, активная LLM модель переключается исходя из контекста поставленной задачи. Например, когда холодный контакт написал в личку телеграм, общение идёт приветливо и многословно, как только речь идет непосредственно о покупке товара, другая модель говорит минимально по делу
Создание игры с помощью LLM более полугода назад и этой же игры теперь. Что изменилось?
И вот прошло 9 месяцев, модели стали значительно совершеннее, и качество написания кода улучшилось в разы, если не на порядок. Поэтому проведем такой же эксперимент с новейшей моделью такого же размера и попробуем на экспертном уровне оценить степень прогресса в данной области.
На сколько Ollama готова для Production?
Некоторое время назад я был в восторге от Ollama: простое скачивание моделей одной консольной командой, наличие SDK для NodeJS и Python, OpenAI-подобное API. Однако, так как отрасль рынка активно развивается, инструмент с каждым днем становится менее конкурентноспособнымПроблемы OllamaПункты ниже заставят вас задуматься рассмотреть другой инструмент запуска GGUF, например: LMStudio, LocalAI, KoboldCPP, vLLM или llama-server
Зачем изучать создание сайтов и что для этого нужно знать
Начнем с того, что в настоящее время огромное количество (а если точнее, то 5,5 миллиарда за 2024 год) пользователей по всему Интернету регулярно посещают различные сайты и веб‑страницы в поисках нужной им информации. И Вы в том числе.Отсюда можно сделать простой вывод, что абсолютно любой бизнес — от малого и до бизнес‑гигантов — предпочтет иметь свой сайт для продвижения личных продуктов и услуг.А какой же плюс для нас?
Cohere Command — революция, которую мы пропустили
Исходный код, разобранный в данной статье, опубликован в этом репозиторииДлительный промежуток времени я искал модель, специально заточенную под вызов инструментов для внешних интегираций. Критерием поиска являлось минамальное колличество галлюцинаций при использовании железа с потребительского рынка
Почему TeqFW использует только ES-модули?
Ни у кого не получится показать другому то, что тот не хочет или не может увидеть. Объяснять и показывать нужно только тем, кто а) может понять, б) хочет понять. В этой публикации я демонстрирую пару своих документов для LLM, которые предписывают "силиконовым", какими правилами им следует руководствоваться при создании кода для моей платформы. "Силиконовым" можно впаривать любую дичь - они всеядные (могут понять) и покладистые (согласны понять). За это мы их и любим!
Оркестрация чатов LLM моделей через Redis
Исходный код, разобранный в данной статье, опубликован в этом репозитории При работе с языковыми моделями частым явлением являются галлюцинации - когда модель даёт неверных вывод. Это связано с издержками математической модели, которая пораждает важные нюансы, разобранные в данной статье
