Компания ByteDance разработала новый подход к созданию портретов с помощью ИИ, который решает такие распространенные проблемы, как непоследовательность черт лица и плохое следование подсказкам.
В отличие от предыдущих решений, таких как PuLID-FLUX, которые напрямую изменяют внимание модели ИИ, InfuseNet обрабатывает черты лица как параллельный информационный слой. Это сохраняет основную модель ИИ нетронутой, одновременно улучшая качество генерации портретов.
Система использует двухэтапный процесс обучения. Он начинается с реальных портретных фотографий, а затем переходит к синтетическим изображениям, которые генерируются системой с использованием специализированных модулей оптимизации.
По данным ByteDance, этот подход значительно улучшает качество вывода. Сгенерированные изображения сохраняют большее сходство с исходным человеком и точнее следуют текстовым подсказкам. Он также позволяет избежать распространенных проблем, таких как прямое копирование лица и ухудшение качества, которые мешают другим подходам.
В пользовательском тестировании с 16 участниками InfiniteYou показал явные преимущества по сравнению с существующими решениями. При оценке сходства лиц, точности текстовых подсказок, качества изображения и эстетики 72,8 процента предпочли результаты InfiniteYou по сравнению с 27,2 процента для PuLID-FLUX.
InfiniteYou работает с популярными инструментами ИИ, включая ControlNet и LoRA. Системе требуется всего четыре этапа обработки для генерации изображений, и она позволяет пользователям изменять как людей, так и объекты на них. Признавая эти улучшения, ByteDance отмечает, что все еще есть возможности для улучшения сходства лиц и качества изображений.
ByteDance опубликовал код InfiniteYou на GitHub и сделал веса модели доступными через Hugging Face. Экспериментальная демоверсия запланирована, но пока не запущена.
Как участник Content Authenticity Initiative , ByteDance работает с производителями камер и поставщиками медиа для внедрения метаданных C2PA для идентификации контента, сгенерированного ИИ. Однако компания не уточнила, будет ли InfiniteYou включать эти функции аутентификации.
Релиз следует за последними разработками ByteDance в области искусственного интеллекта, включая OmniHuman-1 для фотореалистичной анимации и серию Goku для видеороликов с искусственным интеллектом.
Автор: dilnaz_04
