Исследователи Университета Цинхуа, Гонконгского университета науки и технологий, Университет имени Сунь Ятсена и компании Tencent представили Hunyuan Portrait — нейросеть, которая анимирует портреты людей. Модель справляется с задачей лучше конкурентов.
На вход нейросеть получает два файла: референсное изображение и видеоролик с лицом человека, которое изображает нужные эмоции. При этом референсное изображение может быть как фотографией, так и рисунком. В основе Hunyuan Portrait используется диффузионная модель, которая анимирует изображение с учётом ролика с примером. На выходе пользователь получает видео.
Авторы проекта отмечают, что Hunyuan Portrait сохраняет черты лица человека и точно копирует эмоции. В тестах нейросеть сравнили с TPSM, DaGAN, MCNET, MRFA, Live Portrait, FADM, AniPortrait и Follow Your Emoji. Альтернативные решения уступают по качеству и количеству деталей.
Примеры доступны на сайте проекта, а более подробно о методе генерации рассказали в тексте исследовательской работы. Код проекта пока не опубликовали. Разработчики отмечают, что код и веса модели появятся на GitHub после ревью.
Автор: daniilshat
