MLflow для исследований: как систематизировать ML-эксперименты
ВведениеКогда речь заходит о таких инструментах, как Airflow, MLflow или Docker, многие сразу представляют себе продакшен-среду, и новичков это может пугать. Однако на самом деле эти инструменты полезны не только в проде или крупных компаниях.Сегодня я хочу рассказать об MLflow. Эта статья рассчитана на тех, кто только начинает свой путь в машинном обучении и обладает базовыми знаниями, а также на практикующих ученых в области ИИ, которые пока не знакомы с этим инструментом или сознательно им не пользуются.
Как из аналитики данных перейти в дата-сайентисты
Перевели и дополнили статью Марины Уисс, applied scientist (дата-сайентист со специализацией в прикладной статистике) в Twitch. Когда-то Марина перешла в IT из не связанной с технологиями сферы деятельности, а потом помогла с этим переходом многим людям без IT-бэкграунда.В этой статье она делится советами для дата-аналитиков, которым хотелось бы заниматься data science. А мы добавили мнение экспертов и рекомендации, актуальные для российских образовательных реалий.
Как мы в Авито предсказываем категории объявлений по описанию
Привет! Меня зовут Руслан Гилязев, я работаю в подразделении DS SWAT в Авито, руковожу командой платформы Item2param. Одна из моих задач — развивать модели, которые предсказывают параметры объявлений. В этой статье расскажу, с помощью каких технологий мы решаем задачу классификации объявлений и почему это важно для бизнеса. Материал будет полезен DS-инженерам любого грейда и backend-инженерам, которые интересуются темой Data Science.
Проектируем собственную inhouse Feature Platform
Всем хорошего дня! На связи с вами Домклик #MLOps, и эта статья будет полезна тем, кто интересуется построением внутренней платформы. Меня зовут Алина Баймашева, я руководитель разработки ML-команд, недавно выступила с докладом на конференции HighLoad++ 2024, а теперь подготовила статью по мотивам доклада. Поэтому если вы пропустили доклад, то можно почитать статью. В ней отражены как общие концепции построения подобных платформ, так и возможности практического применения.
Организация датасетов с ClearML
Привет, хабр! Это уже 3-я статья про ClearML. В этой статье я рассказывал про базовый функционал ClearML, а в этой - про то, как настраивать и запускать эксперименты обучения и тестирования через веб-браузер. А теперь я бы хотел затронуть менее популярную тему — организацию датасетов.Версионирование датасетовВ ML есть такой важный тезис: "Данные — это душа модели"
Доступные GPU для всех: знакомьтесь с PrimeWay
ВведениеВ последние годы искусственный интеллект и машинное обучение стали неотъемлемой частью многих отраслей. Однако доступ к высокопроизводительным GPU-ресурсам всё ещё остаётся серьёзным препятствием для многих разработчиков и компаний. Сложная инфраструктура, высокие затраты и ограниченная доступность мешают инновациям и замедляют прогресс.ПроблемаСложность инфраструктуры
TensorFlow, Azure Machine Learning, GitHub Actions и Bicep: Создаем полный MLOps-конвейер
ВведениеВ этом руководстве мы с вами создадим MLOps‑конвейер с использованием TensorFlow, Azure Machine Learning (AML), GitHub Actions, и Bicep (IaC).Этот конвейер будет охватывать весь жизненный цикл разработки моделей машинного обучения, включая предварительную обработку данных, обучение моделей, оптимизацию гиперпараметров, оценку моделей, развертывание и внедрение конвейеров CI/CD.По завершении этого руководства вы получите надежную, масштабируемую и удобную в обслуживании MLOps‑систему.Что вам потребуетсяПеред началом работы убедитесь, что у вас есть следующее:Аккаунт GitHub: Для контроля версий и CI/CD.
Пайплайн каскадных онлайн-моделей: как не запутаться в модулях и обрести дзен при внедрении многомодульных моделей
Привет, Хабр! На связи команда ML-инженеров из Департамента продвинутой аналитики Альфа-Банка (Лазаричева Екатерина, Дмитрий Гончаров, Николай Рябков, Илья Мясников и Асадян Гевонд), а также наши замечательные коллеги из «Глоубайт» (Альфия Харламова, Ростислав Изимов, Александр Малиновский
3D Pose Estimation объектов фиксированной геометрии для складских роботов
«Позабыты хлопоты, остановлен бег. Вкалывают роботы, а не человек» — соблазн автоматизировать физический труд знаком нам ещё с «Приключений Электроника». И точно актуален на складах, особенно в период пиковой сезонности. И тогда на помощь приходят роботы, забирая на себя большую часть задач.
