Состоялся релиз TripoSG и TripoSF — нейроинструментов для генерации 3D-моделей

Исследователи Vast AI, шанхайской ИИ-лаборатории, гонконгского университета и техасского университета в Остине выпустили TripoSG и TripoSF. Это открытые модели для генерации 3D-моделей высокого качества, которые можно использовать в разработке игр или печати. Отмечается, что нейросеть может обрабатывать даже сложные топологии.

Авторы проекта отмечают, что за последние несколько лет нейросети научились генерировать тексты, изображения, музыку, код и даже видео. При этом модели машинного обучения всё ещё очень плохо работают с 3D-графикой. Трёхмерные фигуры сложной формы получаются плохо, с большим количество артефактов и не годятся для использования без значительных правок.

Разработчики попытались решить проблему, используя новый подход — трансформеры с выпрямленным потоком (rectified flow transformers). В итоге авторам исследования удалось уменьшить количество шума и повысить детализацию готовых моделей.

Исследователи выпустили сразу две нейросети:

• TripoSG — модель с 1,5 млрд параметрами для преобразования изображений в трёхмерные объекты и детализированные 3D-меши.

• TripoSF — продвинутая нейросеть для генерации высокодетализированных, которые можно использовать в 3D-печати, инженерном деле или разработке игр. Разработчики отмечают, что TripoSF может генерировать сложные внутренние объекты и детали сложных механизмов. 

Сравнение TripoSG с другими моделями

Код проектов опубликовали на GitHub (1, 2), а модели на Hugging Face (1, 2). Больше примеров работы нейросетей и детали исследований можно найти на официальных страницах проектов (1, 2). Также для TripoSG есть демонстрационное приложение.