Как тестировать промпты и чейны (Ручная разметка-BERTScore-LLM as judge)
Год назад я написал статью “Почему важно тестировать промпты и как это делать”. В ней я рассказывал про библиотеку promptfoo, которая предлагает различные способы проверки ответов, генерируемых моделью. Сейчас рынок уже находится на другом этапе: почти никому не нужно объяснять, зачем тестировать LLM при её интеграции в продукт, однако вопрос «как именно это делать» всё ещё остаётся открытым. Причём он стал ещё острее — ведь объём тестовых запросов вырос с 30 штук до 4 тысяч.
Скорая помощь: как быстро снять стресс, эмоциональное напряжение и провести профилактику нарушений сна
В моей статье о статистике профессиональных заболеваний IT-специалистов я проводила опрос. Его результаты вполне бьются с глобальными исследованиями, и видны на скриншоте. По горячим следам я подготовила для читателей Хабра 3 видео-упражнения для быстрого снятия стресса, избавления от бессонницы и тревожных мыслей. Длительность каждого ролика менее 2 минут. Это не отменяет обращений к психотерапевту, неврологу или принятие препаратов. Но в офисе, в пробке или когда под рукой нет нужной таблетки, техники можно использовать в качестве «скорой помощи». Для полноты понимания я описываю в статье, на что именно влияет выполнение упражнений, и как решается проблема с точки зрения работы тела. На все вопросы обязательно отвечу в комментариях. Важно: Все упражнения нужно выполнять мягко и без агрессивного нажима. Нельзя выполнять в период острых фаз заболеваний и воспалительных процессов, при температуре.
Рекомендательная система для вашего каталога научных работ (и не только!)
Используем обработку естественного языка и теорию графов для сравнения и рекомендации различных типов документов. ВведениеПочти все проекты начинаются с одного важного этапа — активных исследований. Инвестировать в то, что уже было сделано другими, в развитие их работы — это один из путей к повышению ценности вашего проекта. Важно не только извлечь уроки из опыта других, но и понять, чего не стоит делать в своем проекте, чтобы повысить его шансы на успех.
Искусственный Интеллект: проверяем предсказания 2012 года и думаем о его (и нашем) будущем
От ИИ Шедеврум
Эффективный пакетный инференс моделей. Опыт инженеров VK
Привет, Хабр! На связи Артём Петров, я занимаюсь разработкой ПО в центре технологий VK. Хочу рассказать о важной задаче обработки больших объёмов данных с использованием нескольких экземпляров одной и той же модели машинного обучения. Этот процесс называется batch inference («пакетный инференс») и позволяет значительно повысить производительность системы, особенно когда речь идёт о таблицах большого размера.Open Inference Protocol (OIP)
Notion выпускает почтовый клиент на базе искусственного интеллекта для Gmail
Во вторник компания Notion выпустила Notion Mail — почтовый клиент на базе искусственного интеллекта для Gmail, который интегрируется с остальной платформой управления рабочими процессами Notion. Notion Mail подключается к аккаунтам Gmail пользователей Notion и использует AI, чтобы помочь пользователям организовывать свои электронные письма, составлять черновики ответов, планировать встречи и выполнять поиск по сообщениям. Любой пользователь Notion может зарегистрироваться, а возможности AI Notion Mail бесплатны с ежемесячными лимитами использования или неограничены через платный уровень.
Apple рассказывает, как планирует улучшить свои модели AI, анализируя данные пользователей в частном порядке
На фоне критики по поводу неудовлетворительной производительности своих продуктов на базе искусственного интеллекта, особенно в таких областях, как сводки уведомлений, Apple в понедельник подробно рассказала о том, как она пытается улучшить свои модели искусственного интеллекта, анализируя пользовательские данные в частном порядке с помощью синтетических данных.
Музыка за пару минут: топ-10 бесплатных нейросетей для генерации песен
Музыка за пару минут: топ-10 бесплатных нейросетей для генерации песенИзображение создано с помощью Grok
ML-эксперименты проще с ClearML
В этой статье поговорим про мощный инструмент для организации ML-экспериментов (и не только) с помощью платформы ClearML. Как с помощью нее проводить исследования «по фэншую». Но для начала давайте ответим на следующий вопрос...Зачем вообще нужен менеджер экспериментов?Кто имеет четкое понимание по этому вопросу, могут скипнуть эту секцию. Начать стоит с того, что обучение моделей — это всегда эксперименты с непредсказуемым исходом. Да, докинув новых данных или взяв нейронку пожирнее, мы можем рассчитывать
