Как тестировать промпты и чейны (Ручная разметка-BERTScore-LLM as judge)
Год назад я написал статью “Почему важно тестировать промпты и как это делать”. В ней я рассказывал про библиотеку promptfoo, которая предлагает различные способы проверки ответов, генерируемых моделью. Сейчас рынок уже находится на другом этапе: почти никому не нужно объяснять, зачем тестировать LLM при её интеграции в продукт, однако вопрос «как именно это делать» всё ещё остаётся открытым. Причём он стал ещё острее — ведь объём тестовых запросов вырос с 30 штук до 4 тысяч.
«Клюква» — автоматизация документации проектов на Python
Привет! Меня зовут Алексей Фоменко. Я разработчик из Нижнего Новгорода.Сегодня хочу рассказать вам о своем сервисе "Клюква".Почему "Клюква" и "автоматизация документации"? Ответ на самом деле простой — потому что мне это название нравится.
Агент для агентства: разработка телеграм-бота с агентными возможностями на базе LangGraph и OpenAI. Часть 1
ИИ-агенты по версии ИИСалют! Меня зовут Григорий, и я главный по спецпроектам в команде AllSee.ИИ, LLM, агенты — всё это сегодня у нас на слуху. Каждый день выходят новые решения, продукты, статьи — мир летит вперёд, только и успевай за ним.
Умный помощник для корпоративного обучения: опыт внедрения продвинутой RAG-системы в крупной компании
Привет, Хабр! Меня зовут Антон, я занимаюсь внедрением ИИ в компании Doubletapp
Устройство Re-Act ИИ агента
Что такое Re-Act? Re-Act (Reason + Act) – это парадигма, предлагающая объединить рассуждение и выполнение действий в работе языковой модели (ReAct: Synergizing Reasoning and Acting in Language Models).В отличие от других подходов построения агентов, где модель либо только рассуждает, либо выполняет только действия, либо сразу выдаёт ответ, Re-Act заставляет модель чередовать логические рассуждения с вызовами пользовательских функций (или инструментов - Tools)
Как LangChain и LangGraph упрощают жизнь разработчика ИИ-Агентов
При разработке приложений на основе больших языковых моделей (LLM, Large Language Model) встает вопрос: вызывать ли модель напрямую через API (например, OpenAI) или использовать специализированные фреймворки вроде LangChain или LangGraph. Ниже мы рассмотрим, с какими сложностями сталкивается разработчик при прямом использовании LLM, и как LangChain и LangGraph помогают упростить создание сложных диалоговых и агентных систем. Также приведем примеры кода, сравнивая прямые вызовы с использованием этих фреймворков, и обсудим, когда их применение оправдано.Проблемы при прямом вызове LLM API
LangChain vs LlamaIndex: проектируем RAG и разбираемся, что выбрать для вашего проекта
Сегодня it-сообщество предлагает большое количество любопытных инструментов для создания RAG-систем. Среди них особенно выделяются два фреймворка — LangChain и LlamaIndex. Как понять, какой из них подходит лучше для вашего проекта? Давайте разбираться вместе!Меня зовут София, я сотрудница компании Raft, работаю на стыке backend и ML. Сегодня мы затронем сразу несколько вопросов. План таков:Обсудим, что такое RAG и зачем он нужен;Рассмотрим side-by-side, как написать простую реализацию чат-бота на основе RAG с помощью каждого из фреймворков (LangChain и LlamaIndex);
Security-RAG или как сделать AI Security tool на коленке
ЗатравочкаLLM-ки и LLM-агенты продолжают наводить шум. статьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях.
Используем языковые модели в AI-агентах. Часть 1. Введение в LangChain
Привет, Хабр!В одной из прошлых статей я рассказывал про дообучение языковых моделей, сегодня же я хочу поговорить про практическое использование LLM и создание AI-агентов. Но прежде, чем приступать к этому, необходимо изучить основные компоненты.Что такое LangChain?LanhChain - фреймворк, предоставляющий обширный и удобный функционал по использованию LLM, он служит для разработки приложений на основе больших языковых моделей, создания агентов, взаимодействия с векторными хранилищами и т.д.УстановкаДля установки необходимо выполнить:pip install langchain1. Интерфейс RunnableИнтерфейс
