Разработчики анонсировали SynCity — нейросеть для генерации 3D-миров в стиле градостроительных симуляторов

Разработчики из Visual Geometry Group и Оксфордского университета представили ^[1] SynCity — нейросеть, которая генерирует 3D-миры в стиле градостроительных симуляторов. Готовые модели можно использовать в разработке игр или 3D-дизайне.

Авторы SynCity отмечают, что все нейрогенераторы для работы с трёхмерной графикой ориентированы на объекты. Они могут создавать предметы или персонажей, но не умеют генерировать полноценные сцены. Для решения этой проблемы разработчики создали SynCity.

Инструмент объединяет в себе нейросети Flux от Black Forest Labs и Trellis от Microsoft. Первая получает текстовый запрос от пользователя и создаёт на его основе 2D-изображения городских построек, а вторая — переводит картинки в 3D.

Таким образом SynCity заполняет квадратную сетку зданиями в едином стиле, генерируя городской квартал. При этом Flux в режиме Inpainting дорисовывает стыки между зданиями, а Trellis использует результат работы Flux для бесшовного соединения построек. В итоге квартал выглядит единым целым.

Примеры работы SynCity можно увидеть на официальной странице ^[1] проекта. В ближайшее время разработчики опубликуют ^[2] код инструмента. Текст исследования доступен ^[3] на портале arXiv.