Нейросеть Microsoft Muse, предназначенная для генерации игр на лету, получила крупное обновление. Разработчики представили, как ИИ воссоздает геймплей Quake II и открыли доступ к демоверсии этой необычной версии шутера.
Microsoft Muse генерирует игровой процесс на основе действий пользователя. В специальной версии Quake II нейросеть рисует текстуры самостоятельно, без использования заранее заданных изображений. Сердцем этой технологии является архитектура World and Human Action Model (WHAM), которая позволяет модели создавать уникальный геймплей в реальном времени.
Обновленная версия Muse, названная World and Human Action MaskGIT Model (WHAMM), получила значительные улучшения. В отличие от предыдущей модели, для обучения которой требовалось семь лет геймплея, новая версия нуждается лишь в одной неделе данных. При этом кадровая частота увеличилась с 1 до 10 fps, а разрешение повысилось с 300×180 до 640×360 пикселей.
Цель создания Muse заключается в ремастеринге старых игр, однако технология все еще далека от идеала. В текущем демо длина контекста составляет 0,9 секунды, что означает, что объекты исчезают после истечения этого времени. Также враги отображаются неправильно, а модель воссоздает лишь один уровень Quake II, на котором была обучена.
Пользователи могут попробовать ИИ на официальном сайте Copilot, доступном только из определенных стран. Microsoft продемонстрировала WHAMM как инструмент, который генерирует игровое окружение Quake II в реальном времени, позволяя игрокам управлять персонажем, прыгать, стрелять и размещать объекты.
Новая модель является частью проекта Copilot Labs и семейства Muse. Технология WHAMM использует стратегию MaskGIT, что позволяет значительное ускорение генерации изображений: новая версия способна выдавать десять кадров в секунду, что в десять раз быстрее, чем предыдущая WHAM-1.6B.
Новая модель требует всего одну неделю геймплея, записанного профессиональными тестировщиками, для своего обучения. Несмотря на это, демонстрация все еще имеет ограничения: враги могут отображаться размыто, области симуляции ограничены, а задержка между действиями игрока и их выполнением очевидна. Microsoft рассматривает WHAMM как экспериментальную платформу для будущих ИИ-игр, что может значительно снизить затраты на разработку и ускорить производственный процесс.