Microsoft представила демо ИИ-версии Quake II на базе нейросети Muse

Microsoft опубликовала ^[1] техническую демонстрацию ИИ-версии игры Quake II, которая работает на базе нейросети Muse. Команда проекта обновила модель машинного обучения ^[2] так, чтобы она могла генерировать картинку с большим разрешением и с большей скоростью.

В феврале Microsoft представила нейросеть Muse и архитектур World and Human Action Model (WHAM), которые позволяют в реальном времени генерировать игры. Модель получает нажатия кнопок пользователя и учитывает их, создавая следующие кадры. Сейчас Microsoft представила World and Human Action MaskGIT Model (WHAMM) — обновление технологии и демо — нейроверсию Quake II.

Что улучшили разработчики:

• Скорость генерации. WHAMM может создавать до 10 кадров в секунду, когда прошлая версия достигала только 1 кадра.

• Новая игра. Первую версию проекта обучили на Bleeding Edge, а обновление — на Quake II.

• Компактный датасет. Для обучения прошлой версии нейросети использовали данные семи лет игры, а сейчас хватило данных всего за одну неделю.

• Большее разрешение. WHAMM генерирует кадры с разрешением 640×360 пикселей, а прошлая версия — 300×180.

Исследователи считают эксперимент успешным, но напоминают про ограничения, которые важно учитывать:

• Нейросеть не может воссоздать оригинальную игру Quake II. Она просто повторяет кадры, которые были в датасете, поэтому не стоит ожидать полного соответствия оригиналу.

• Враги в нейроверсии игры иногда отображаются неправильно.

• Длина контекста нынешней модели составляет 0,9 секунды (9 кадров при 10 FPS) игрового процесса. Объекты, которые выходят за рамки этого времени могут исчезать.

• WHAMM пока что обучили только на небольшой части одного уровня Quake II.

Протестировать нейроверсию Quake II можно в сервисе Copilot ^[3].