RAG: борьба с низким качеством ответов в условиях экономии памяти на GPU
Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров. Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять.
ai-2027.com на русском: ч2
Это вторая часть моего мини-хабра-сериала с переводом нашумевшего Sci-Fi рассказа ai-2027.com. Он написан топовыми ИИ-экспертами, опирается на кучу данных, имеет две концовки (!) и сейчас его много обсуждают.Часть 1В предыдущей серии
ai-2027.com на русском
Примечания переводчикаЭта статья на прошлой неделе взорвала твиттер и русскоязычный ИИ-телеграм. Большинство серьезных ии-блогеров написали по ней обзоры. Почему? Да просто это никакая не статья, а полноценный sci-fi рассказ про ближайшее будущее, только основанный на реальных данных. Написан топовыми чуваками в ИИ, один из которых работал в OpenAI и уже писал похожие предсказания в 2021 году, которые сбылись с поразительной точностью.А еще у него 2 концовки (!)
Почему не стоит инвестировать 2 года в платформу инференса LLM
Пока одни спорят, заменит ли ИИ людей, другие уже выбирают, какая LLM станет их напарником, и активно применяют их в бизнесе.Мы в МТС тоже прошли этот путь и уже внедрили LLM в 30 продуктов экосистемы, а теперь превратили наш опыт в готовую платформу, которая позволяет тестировать множество языковых моделей.
Про разработку LLM: какие ещё есть справочники и кукбуки
Сегодня мы продолжим изучать руководства по разработке LLM. А 23 апреля на онлайн-встрече расскажем, почему создание платформы для инференса LLM с нуля — далеко не всегда оптимальный выбор, и объясним, как MWS GPT может значительно упростить и ускорить работу с большими языковыми моделями. Подключайтесь, регистрация открыта по
Сравнение low-code редакторов для разработки приложений на основе LLM
Привет, Habr! Наша команда LLM-разработки подготовила статью с анализом low-code редакторов для разработки пайплайнов на базе LLM-моделей. Тема сравнения пайплайнов назревала давно, так как мы активно используем данные редакторы в своей работе и зачастую сталкиваемся с различными ограничениями решений. Данная статья будет полезна командам, которые только выбирают среду разработки пайплайнов для своих LLM-приложений и ИИ-агентов, а также тем, кто ищет лучший редактор для решения своих задач.Введение
Замена Langchain, как OpenAI Agents SDK справляется с глубоким поиском?
Агенты супер багованы. В своих проектах в компании мы заметили, что Langchain стал уж слишком баговым. В мультиагентных системах агенты зачастую циклятся, так как не понимают, когда они выполнили финальное действие, не вызывают друг друга когда надо, или же просто возвращают данные в битом формате JSON. Короче говоря, создать агентную систему стало не так то просто, и мы даже стали задумываться об упрощении систем, избавляясь от кучи агентов. И вот неделю назад OpenAI обновили SDK для создания агентов, а еще выкатили доступ к новым тулзам по API. Ну и я пошел тестить.
Агент для агентства: разработка телеграм-бота с агентными возможностями на базе LangGraph и OpenAI. Часть 1
ИИ-агенты по версии ИИСалют! Меня зовут Григорий, и я главный по спецпроектам в команде AllSee.ИИ, LLM, агенты — всё это сегодня у нас на слуху. Каждый день выходят новые решения, продукты, статьи — мир летит вперёд, только и успевай за ним.
