Разработанная Google DeepMind модель Genie 3 работает в реальном времени со скоростью 24 кадра в секунду и поддерживает несколько минут непрерывного взаимодействия в разрешении 720p.
Genie 3 — обновленная версия модели для создания виртуальных миров. На основе текстового запроса система генерирует динамичные пространства, в которых пользователь может свободно перемещаться. В отличие от традиционных игр, где сцены проектируются вручную с помощью 3D-моделирования, Genie 3 строит миры полностью с помощью ИИ.
Новая версия значительно превосходит предыдущие. Если Genie 2 поддерживала взаимодействие лишь в течение 10–20 секунд, то Genie 3 работает несколько минут подряд. Кроме того, система обладает визуальной памятью: она запоминает расположение объектов до одной минуты, даже если они пропадают из поля зрения игрока.
Экспериментальная модель для генерации игровых миров по описанию Genie 3
Модель учитывает физику окружающей среды: течение воды, освещение, взаимодействие объектов и поведение персонажей. Genie 3 может воспроизводить сложные экосистемы животных и растений, генерировать анимацию, фантастические сценарии, а также воссоздавать реальные локации и исторические объекты.
С помощью текстовых команд пользователи могут управлять событиями в мире: задавать погоду, добавлять объекты и персонажей, изменять сценарии и вводить новые условия.
Сравнение разных моделей для генерации виртуального пространства. Данные: Google DeepMind
Тем не менее у модели остаются ограничения. Набор действий, доступных агентам, пока ограничен, а точное моделирование сложных взаимодействий между несколькими независимыми персонажами — задача для будущих версий. Genie 3 пока не воспроизводит реальные места с высокой географической точностью, а четкий текст на экране генерируется, если он явно указан в описании для генерации.
Сейчас Genie 3 доступна в виде ограниченной исследовательской предварительной версии. Google предоставляет доступ небольшой группе ученых и разработчиков и рассматривает возможность расширить тестирование в будущем.
Примеры генерации опубликованы в блоге Google DeepMind.
