Microsoft опубликовала техническую демонстрацию ИИ-версии игры Quake II, которая работает на базе нейросети Muse. Команда проекта обновила модель машинного обучения так, чтобы она могла генерировать картинку с большим разрешением и с большей скоростью.
В феврале Microsoft представила нейросеть Muse и архитектур World and Human Action Model (WHAM), которые позволяют в реальном времени генерировать игры. Модель получает нажатия кнопок пользователя и учитывает их, создавая следующие кадры. Сейчас Microsoft представила World and Human Action MaskGIT Model (WHAMM) — обновление технологии и демо — нейроверсию Quake II.
Что улучшили разработчики:
-
Скорость генерации. WHAMM может создавать до 10 кадров в секунду, когда прошлая версия достигала только 1 кадра.
-
Новая игра. Первую версию проекта обучили на Bleeding Edge, а обновление — на Quake II.
-
Компактный датасет. Для обучения прошлой версии нейросети использовали данные семи лет игры, а сейчас хватило данных всего за одну неделю.
-
Большее разрешение. WHAMM генерирует кадры с разрешением 640×360 пикселей, а прошлая версия — 300×180.
Исследователи считают эксперимент успешным, но напоминают про ограничения, которые важно учитывать:
-
Нейросеть не может воссоздать оригинальную игру Quake II. Она просто повторяет кадры, которые были в датасете, поэтому не стоит ожидать полного соответствия оригиналу.
-
Враги в нейроверсии игры иногда отображаются неправильно.
-
Длина контекста нынешней модели составляет 0,9 секунды (9 кадров при 10 FPS) игрового процесса. Объекты, которые выходят за рамки этого времени могут исчезать.
-
WHAMM пока что обучили только на небольшой части одного уровня Quake II.
Протестировать нейроверсию Quake II можно в сервисе Copilot.
Автор: daniilshat
