Разметка данных с использованием LLM
Всем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM. И я решил преобразовать этот доклад в статью, попутно обновив некоторые цифры и тезисы (такова уж скорость прогресса в этой области). Но для начала позволю себе несколько вводных для тех, кто всё же не слышал про разметку данных и LLM (Large Language Models или большие языковые модели). Что же такое LLM?Итак, LLM – это:Модель.
База об организации процесса разметки: команда, онбординг, метрики
Привет! Меня зовут Сизов Виктор, я занимаюсь данными, их сбором, анализом и разметкой последние 5 лет. Сейчас отвечаю за разметку в Альфа-Банке. Эту статьи мы писали всей командой и старались осветить подробно детали того, как устроены процессы разметки с технической и административной стороны. В статье мы рассмотрели:работу команд разметки, их взаимодействие с Заказчиком и Продуктом;отдельно разобрали аналитику, которая позволяет повышать качество разметки;поведение людей (разметчиков), паттерны их работы.Часть 1. Заказчики, участники и исполнители
Как собирать данные: руководство для ИИ-стартапов
В 2016 году я наткнулся на руководство по стратегиям сбора данных для AI-стартапов, многие идеи из которого были визионерскими для своего времени. Автором этого текста был Мориц Мюллер-Фрайтаг, сооснователь компании Twenty Billion Neurons (TwentyBN).
Экосистема для разработки и применения Computer Vision (CV) в промышленности
Статья написана 2мя авторами: Иваном Мигалем и Юрием Кацером.На сегодняшний день компьютерное зрение (CV — computer vision) активно применяется в промышленности и уже стало привычной технологией для многих производств. Наиболее частыми примерами являются кейсы с охраной труда и промышленной безопасностью (ОТиПБ). Другими популярными кейсами, больше связанными с самим технологическим процессом, являются:ГранулометрияАнализ характеристик пены и динамики пеносъема на флотации
Как посчитать проект и защитить бизнес от некорректной оценки: руководство для специалистов по данным
Сорванные дедлайны, работа в выходные, недовольный клиент — знакомо? Если да, то вы, вероятно, сталкивались с некорректной оценкой проекта. В прошлой статье я рассказывал о риск-факторах в задачах разметки и сбора данных: Почему оценить стоимость датасета не так просто, как кажется на первый взглядПредставьте, что вы получили заказ на разметку датасета из 1,000 изображений. Вы берете 20 картинок ...
Разметка данных на заказ: как корректно оценить проект и защитить бизнес от рисков
Сорванные дедлайны, работа в выходные, недовольный клиент — знакомо? Если да, то вы, вероятно, сталкивались с некорректной оценкой проекта. В прошлой статье я рассказывал о риск-факторах в задачах разметки и сбора данных: Почему оценить стоимость датасета не так просто, как кажется на первый взглядПредставьте, что вы получили заказ на разметку датасета из 1,000 изображений. Вы берете 20 картинок ...
AI-тренер и AI-редактор. Полный гайд по профессии
Представьте, что искусственный интеллект — это ребенок, который только начинает учиться говорить и понимать окружающий мир, а AI-тренеры, редакторы и асессоры — это учителя и наставники. Они помогают ему разобраться, как правильно отвечать на вопросы, избегать ошибок и становиться полезным помощником для людей.
GigaChat + RAG: как гига нам инструкции для разметки пишет в 3 раза быстрее
Почти за всем хорошим ML стоят хорошие данные. И так получилось, что таких данных часто нет и их приходится добывать, а даже добыв, из них нужно сделать что-то подходящее, и (если сильно огрубить) такой процесс называется разметкой.Пример задачи по сегментации видео-кадров и пример инструкции к ней
