Команда из Adobe Research и Гонконгского университета науки и технологий разработала систему искусственного интеллекта, которая может изменить подход к созданию визуальных эффектов для фильмов, игр и интерактивных медиа.
Технология под названием TransPixar добавляет в видео, созданные искусственным интеллектом, важную функцию: возможность создавать прозрачные элементы, такие как дым, отражения и эфемерные эффекты, которые естественным образом вписываются в сцены. Современные инструменты для создания видео с помощью AI обычно могут генерировать только цельные изображения, что является значительным техническим достижением.
“Альфа-каналы имеют решающее значение для создания визуальных эффектов, позволяя прозрачным элементам, таким как дым и отражения, плавно вписываться в сцены”, – сказал Ицзюнь Ли, руководитель проекта Adobe Research и один из авторов статьи. “Однако создание видео RGBA, которое включает альфа-каналы для прозрачности, остается сложной задачей из-за ограниченных наборов данных и сложности адаптации существующих моделей”.
Этот прорыв произошёл в критический момент, когда спрос на визуальные эффекты продолжает расти в индустрии развлечений, рекламы и игр. Традиционная работа с визуальными эффектами часто требует от художников кропотливой ручной работы для создания убедительных прозрачных эффектов.
Основная способность TransPixar – сохранять высокое качество при работе с очень ограниченными обучающими данными. Исследователи добились этого, разработав новый подход, который расширяет существующие модели искусственного интеллекта для видео, а не создаёт их с нуля.
«Мы вводим новые токены для генерации альфа-канала, повторно инициализируем их позиционные вложения и добавляем вложения с нулевой инициализацией, чтобы отличать их от токенов RGB, — объяснил Луочжоу Ван, ведущий автор и исследователь из HKUST. — Используя схему тонкой настройки на основе LoRA, мы проецируем альфа-токены в пространство qkv, сохраняя качество RGB».
На демонстрациях система показала впечатляющие результаты, создавая разнообразные эффекты на основе простых текстовых подсказок — от вихрящихся грозовых туч и волшебных порталов до разбивающегося стекла и клубящегося дыма. Технология также может анимировать неподвижные изображения с эффектом прозрачности, открывая новые творческие возможности для художников и дизайнеров.
Исследовательская группа сделала свой код общедоступным на GitHub и запустила демонстрационную версию на Hugging Face, чтобы разработчики и исследователи могли экспериментировать с этой технологией.
Предварительное тестирование показывает, что TransPixar может ускорить и упростить создание визуальных эффектов, особенно для небольших студий, которые не могут позволить себе дорогостоящие работы по созданию эффектов. Хотя для обработки длинных видео система по-прежнему требует значительных вычислительных мощностей, её потенциальное влияние на креативную индустрию очевидно.
Эта технология важна не только с точки зрения технических усовершенствований. По мере того, как стриминговым сервисам требуется всё больше контента, а виртуальное производство растёт, прозрачные эффекты, создаваемые искусственным интеллектом, могут изменить работу студий. Небольшие команды могут создавать эффекты, для которых раньше требовались крупные студии, а более крупные производства могут завершать проекты гораздо быстрее.
TransPixar может быть особенно полезен для использования в режиме реального времени. Видеоигры, приложения дополненной реальности и прямые трансляции могут мгновенно создавать прозрачные эффекты, для чего сегодня требуются часы или дни работы.
Индустрия развлечений сталкивается с тремя растущими проблемами: зрители хотят больше контента, бюджеты ограничены, а художников-постановщиков не хватает. Вопрос не в том, изменит ли AI визуальные эффекты, а в том, будут ли вообще существовать традиционные рабочие процессы VFX через пять лет.
Автор: mefdayy
