Учёные «Сбера» представили метод для легковесных моделей ИИ по распознаванию эмоций в сложных условиях

Учёные лаборатории искусственного интеллекта ^[1] «Сбербанка» предложили ^[2] новый подход для легковесных моделей искусственного интеллекта к распознаванию эмоций ^[3] в реальных условиях. Результаты разработки показаны в работе Leveraging Lightweight Facial Models and Textual Modality in Audio‑visual Emotional Understanding in‑the‑Wild ^[4] («Использование легковесных моделей анализа лица и текстовых модальностей в аудиовизуальном понимании эмоций ^[5] в естественных условиях»). Работу представили на международном воркшопе Affective Behaviour Analysis in‑the‑Wild (ABAW) конференции CVPR (Core A*).

Исследователи Сбера предложили решение по распознаванию эмоций, опирающееся на три элемента. Учёные применили лёгкие нейросети EmotiEffNet, MobileViT и MobileFaceNet. Эти сети обучены на открытых наборах фото с выражениями лиц. EmotiEffNet, MobileViT и MobileFaceNet позволяют распознавать мимику в реальном времени даже на смартфонах. Дополнительно применяется фильтрация кадров. Система выбирает те, где эмоции видны чётче. Также используется объединение данных из текста, аудио и видео. Метод «позднего слияния» помогает модели быстрее подстраиваться под новые задачи.

На международном конкурсе ABAW метод занял первое место в задачах по распознаванию выражений и амбивалентности. Также команда получила третье место в задачах по оценке силы эмоций и микровыражений. Средняя точность выросла на 1,5–15% по сравнению с базовыми методами. В работе использовалась библиотека EmotiEffLib.

По словам директора Лаборатории искусственного интеллекта «Сбербанка» Глеба Гусева, его коллегам удалось разработать новые методы мультимодального анализа эмоций с оптимизацией вычислений. Гусев считает, что это исследование приближает людей к созданию эмпатичного ИИ, который сможет точно и быстро распознавать эмоции человека в реальных условиях. Возможности для прикладного применения этой технологии очень широки — от виртуальных помощников до интеллектуальных систем в медицине и образовании.