Google DeepMind представила Genie 4 для создания интерактивных миров в реальном времени

Google DeepMind представила Genie 4 — модель для создания интерактивных виртуальных миров в реальном времени. Пользователь может перемещаться по сгенерированному окружению, взаимодействовать с объектами и менять происходящее прямо во время симуляции.

Главным нововведением стала нативная генерация звука. Модель формирует не только изображение, но и звуковое сопровождение: шум ветра, другие звуки окружающей среды, музыку и диалоги персонажей. Реплики могут изменяться в зависимости от действий пользователя и событий внутри мира.

Управление сценой текстом

Изменять виртуальное окружение можно с помощью обычных текстовых команд. Пользователь может попросить поменять погоду, добавить персонажа или переместить камеру. Genie 4 перестраивает сцену на лету, без полного перезапуска генерации.

За происходящим следят несколько моделей Gemini. Gemini 3.8 Flash выступает в роли управляющего агента: анализирует создаваемые кадры, разбивает задачи на последовательные шаги и проверяет состояние симуляции. Gemini Omni связывает визуальную часть с реальным миром, а Gemini 4 Argon экспериментально применяют для планирования более сложных сценариев.

По данным разработчиков, Genie 4 лучше работает с физикой, включая столкновения, аэродинамику и движения людей. Персонажи также должны естественнее реагировать на изменения окружающей среды.

Возможные применения и ограничения

Среди потенциальных сценариев использования — тренировочные среды для роботов и ИИ-агентов, быстрое прототипирование игровых механик и предварительная визуализация сцен для кино. Режиссёр сможет менять освещение, ракурс и действия персонажей во время просмотра, а разработчик — проверять игровую идею ещё до написания полноценного кода.

При этом Genie 4 пока нельзя считать заменой игровому движку. Продолжительность симуляции ограничена примерно двумя минутами. При длительной работе модель может терять детали окружения, менять внешний вид объектов и допускать ошибки в физике. Проблемными остаются также точность звука, пространственная согласованность сцены и генерация читаемого текста.

Сейчас Genie 4 доступна ограниченному кругу тестировщиков. В дальнейшем Google планирует открыть доступ подписчикам AI Ultra через Project Genie, а также партнёрам через Gemini API и Google AI Studio. Точные сроки запуска и стоимость пока не объявлены; при этом уже можно записаться в лист ожидания.