Квантизация LLM: делаем модели легче в 4 раза
ВведениеСовременные языковые модели (LLM) содержат миллиарды параметров, что создает огромные требования к вычислительным ресурсам. Например:BERT: <1 млрд параметровGPT-2: >1 млрд параметровGPT-3: сотни млрд параметровDeepSeek: 671 млрд параметровТакие модели сложно запускать не только на домашних компьютерах, но даже на серверах среднего уровня. Квантизация - это метод уменьшения размера моделей для более эффективного использования памяти.
Форматы хранения чисел в нейросетяхСтандартные форматы
Умный помощник для корпоративного обучения: опыт внедрения продвинутой RAG-системы в крупной компании
Привет, Хабр! Меня зовут Антон, я занимаюсь внедрением ИИ в компании Doubletapp
YandexGPT заняла первое место в англо‑русском переводе среди нейросетей по результатам бенчмарка DiBiMT
«Яндекс Переводчик» с YandexGPT стал мировым лидером по качеству перевода с английского на русский по итогам международного независимого бенчмарка DiBiMT, сообщили в пресс‑службе «Яндекса» информационной службе Хабра. Как объяснили разработчики, внедрение в сервис большой языковой модели позволило за год повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений и обойти таких лидеров, как Google Translate, ChatGPT и DeepL.
Что нового в OpenWebUI версий 0.5.x
Еще в прошлом году, 25 декабря, OpenWebUI обновился до версии 0.5.0, и один из лучших интерфейсов для работы с моделями в Ollama начал новый этап своей жизни. Давайте рассмотрим, что нового появилось за 1.5 месяца от релиза и что теперь он предлагает в версии 0.5.12.Асинхронные чаты с нотификациями. Теперь вы можете начать чат, затем перейти в другие чаты чтобы посмотреть какую‑то информацию и вернуться назад и ничего не потерять, как было раньше. Работа с моделью ведется в асинхронном режиме и когда она закончит выдачу информации вы получите нотификацию об этом.
LLM для автоматизации поддержки
Привет, Хабр! Меня зовут Ирина, я занимаюсь NLP для автоматизации поддержки в Центре искусственного интеллекта Т-Банка. В статье расскажу, как мы исследовали применение LLM в автоматизации поддержки: какие подходы попробовали, какие сложности возникли и какие решения оказались наиболее эффективными.
Сопоставление номенклатур товаров ресторанов и поставщиков с помощью LLM — Case Study для ресторанного холдинга
Привет, Habr! На связи Александр Сулейкин. к. т. н. и СЕО ИТ-компании “ДЮК Технологии”. Совместно с нашим экспертом по LLM-решениям Романом Бабенко подготовили новую статью по теме применения LLM для задачи сопоставления номенклатур товаров и поставщиков - типовой задачи, с которой часто сталкиваются менеджеры по закупкам. Статья подготовлена на базе реального Use Case пилотного внедрения в крупном ресторанном холдинге.
Telegram бот + ИИ Jlama своими руками
Хабр, привет! Сегодня мы попробуем сделать свой ИИ с телеграм ботом для возможности простого общения с ней. Сразу оговорюсь, мы не будем в очередной раз использовать открытый API ChatGPT или новомодного Deepseek. Мы развернем свой полноценный ИИ локально и сынтегрируем его с телеграм ботом.LLM модель
Разворачиваем Langfuse в Kubernetes: open-source альтернатива Langsmith
Привет, Хабр! Меня зовут Арсений @kazars24, я студент 2 курса магистратуры Talent Hub и ML инженер в компании Вита. Последнее время я активно занимаюсь разработкой LLM-приложений, и в процессе работы столкнулся с необходимостью их мониторинга. После долгих поисков и экспериментов я нашел отличное решение — Langfuse, о котором сегодня и поговорим.Почему Langfuse, а не Langsmith?
Security-RAG или как сделать AI Security tool на коленке
ЗатравочкаLLM-ки и LLM-агенты продолжают наводить шум. статьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях.
Тренды ИИ-2025
Всем привет! Я Федор Горбунов, руководитель направления машинного обучения в Doubletapp. Сегодня поговорим о том, какие значимые для искусственного интеллекта события произошли в 2024 году и попробуем спрогнозировать вектор развития отрасли в будущем.
