Разработчики из Visual Geometry Group и Оксфордского университета представили SynCity — нейросеть, которая генерирует 3D-миры в стиле градостроительных симуляторов. Готовые модели можно использовать в разработке игр или 3D-дизайне.
Авторы SynCity отмечают, что все нейрогенераторы для работы с трёхмерной графикой ориентированы на объекты. Они могут создавать предметы или персонажей, но не умеют генерировать полноценные сцены. Для решения этой проблемы разработчики создали SynCity.
Инструмент объединяет в себе нейросети Flux от Black Forest Labs и Trellis от Microsoft. Первая получает текстовый запрос от пользователя и создаёт на его основе 2D-изображения городских построек, а вторая — переводит картинки в 3D.
Таким образом SynCity заполняет квадратную сетку зданиями в едином стиле, генерируя городской квартал. При этом Flux в режиме Inpainting дорисовывает стыки между зданиями, а Trellis использует результат работы Flux для бесшовного соединения построек. В итоге квартал выглядит единым целым.
Примеры работы SynCity можно увидеть на официальной странице проекта. В ближайшее время разработчики опубликуют код инструмента. Текст исследования доступен на портале arXiv.
Автор: daniilshat
