Fine tuning или RAG. Что выбрать?
При разработке ИИ чатов существует два способа интеграции внешних данных: RAG хранилища и Fine tuning. Для не технаря отличия не очевидны, я столкнулся с мнением менеджера проекта, что первое это новая версия второго. Это не так. Поэтому, я сделал short summary, чтобы по существу изложить плюсы и минусы двух решенийЧто такое RAG?Языковые модели умеют запускать python/javascript функции через tool_calls. Делается такая функция, ей на вход аргумент search
Fine tuning роя агентов
Исходный код, разобранный в статье, опубликован в этом репозиторииВ вакансиях LLM инженеров присутствует слово RAG. Это подразумевает интеграцию во внешнюю базу данных, например, PostgreSQL с PGVector или MongoDB Atlas Vector Search.
Разработка AI‑приложений с Effect
Интеграция с крупными языковыми моделями (LLMs) стала неотъемлемой частью разработки современных приложений. Независимо от того, создаёте ли вы контент, анализируете данные или разрабатываете интерфейсы для общения с пользователем, добавление возможностей, основанных на AI, имеет потенциал как расширить функциональность вашего продукта, так и улучшить пользовательский опыт.
Балансировка нагрузки LLM через Nginx
Исходный код, разобранный в статье, опубликован в этом репозиторииВ интернете существует множество примеров, которые позволяют подключить ChatGPT 3.5 без инструментов к телеграм боту. Однако, когда речь заходит о большом количестве пользователей, не существуют примеров распределения нагрузки по нескольким процессам: все туториалы в интернете запускают монолит с одной репликой
Применение роя агентов в криптовалютном телеграм боте
Исходный код, разобранный в статье, опубликован в этом репозиторииOpenAI развивает технологию роя агентов искусственного интеллекта, активная LLM модель переключается исходя из контекста поставленной задачи. Например, когда холодный контакт написал в личку телеграм, общение идёт приветливо и многословно, как только речь идет непосредственно о покупке товара, другая модель говорит минимально по делу
На сколько Ollama готова для Production?
Некоторое время назад я был в восторге от Ollama: простое скачивание моделей одной консольной командой, наличие SDK для NodeJS и Python, OpenAI-подобное API. Однако, так как отрасль рынка активно развивается, инструмент с каждым днем становится менее конкурентноспособнымПроблемы OllamaПункты ниже заставят вас задуматься рассмотреть другой инструмент запуска GGUF, например: LMStudio, LocalAI, KoboldCPP, vLLM или llama-server
Cohere Command — революция, которую мы пропустили
Исходный код, разобранный в данной статье, опубликован в этом репозиторииДлительный промежуток времени я искал модель, специально заточенную под вызов инструментов для внешних интегираций. Критерием поиска являлось минамальное колличество галлюцинаций при использовании железа с потребительского рынка
Оркестрация чатов LLM моделей через Redis
Исходный код, разобранный в данной статье, опубликован в этом репозитории При работе с языковыми моделями частым явлением являются галлюцинации - когда модель даёт неверных вывод. Это связано с издержками математической модели, которая пораждает важные нюансы, разобранные в данной статье
Выбор локальной LLM модели. Публикация на сайт с чатом
Исходный код, разобранный в данной статье, опубликован в этом репозиторииДля решения некоторых задач бизнес-требованием является запуск LLM модели локально на своём железе. Это связано с SJW цензурой, например, стандартный датасет для обучения Llama не позволяет вести консультации, носящие медицинский характер: рекомендовать лекарства, обсуждать носящую интимный характер медицинскую тайну с ИИ-терапевтом (см побочки антидепрессантов)
Код, который дышит: создание виртуальной вселенной на NestJS и своим AI на Tensorflow.js
Представьте мир, где каждый персонаж живёт своей жизнью: принимает решения, взаимодействует с окружающей средой и даже эволюционирует. Где почва, растения и ресурсы подчиняются сложным алгоритмам, а нейронные сети управляют поведением тысяч существ. Это не сценарий для нового блокбастера — это проект, над которым я работаю.В этой статье я расскажу, как с помощью NestJS, TypeORM и Tensorflow.js создаю виртуальную вселенную, которая “дышит” и развивается. Мы разберём:Как моделировать сложные системы: от почвы до социальных взаимодействий.Как обучать нейронные сети, чтобы мир менялся реалистично
