Odyssey открыла доступ к интерактивной world model Odyssey-3

Компания Odyssey открыла публичный доступ к исследовательской версии Odyssey-3 — модели, которая создаёт интерактивные окружения по текстовому описанию. Система продолжает генерировать сцену в реальном времени, пока пользователь перемещается по ней, меняет положение камеры или запускает различные события.

Odyssey-3 относится к классу world models, или моделей мира. В отличие от обычных генераторов видео, такие системы должны учитывать предыдущие состояния окружения и прогнозировать последствия конкретных действий. Например, модель должна понимать, как изменится сцена, если персонаж войдёт в воду или автомобиль начнёт двигаться по дороге.

Интерактивная генерация в браузере

В публичном демо используется облегчённая версия Odyssey-3 Flash. Она поддерживает вид от первого и третьего лица, а также свободное управление камерой. Попробовать модель можно бесплатно непосредственно в браузере.

В основе Odyssey-3 лежит авторегрессионный диффузионный трансформер. Для обучения использовали интернет-видео с описаниями происходящих событий, записи игрового процесса с синхронизированными нажатиями клавиш и движениями мыши, а также симуляции физических взаимодействий.

Базовая версия генерирует изображения с разрешением 832 × 480 пикселей. Вариант Odyssey-3 Pro поддерживает разрешение 1280 × 720.

Потенциальное применение в робототехнике

Odyssey рассматривает модель не только как инструмент для создания интерактивных сцен, но и как основу для управления физическими и виртуальными системами. В опубликованных демонстрациях Odyssey-3 использовали с роботизированными манипуляторами, гуманоидными роботами, беспилотным автомобилем, дронами и персонажами видеоигр.

Для каждой задачи к модели подключается отдельный контроллер. Он преобразует внутреннее представление мира, сформированное Odyssey-3, в команды для конкретной системы. При этом функции робототехники и автономного транспорта пока показаны только в демонстрациях и не входят в публичную версию preview.

Результаты тестов и ограничения доступа

По заявлению Odyssey, версия Pro получила 66,1 балла в тесте Physics-IQ, который оценивает понимание физических процессов. Однако показатель был получен в одном запуске с выбором лучшего из восьми сгенерированных вариантов. Средний результат четырёх стандартных запусков составил 63,37 балла.

Результаты WorldMark, где Odyssey-3 заняла первое место в трёх из четырёх категорий, также получены в рамках собственной оценки компании. Поэтому их нельзя напрямую считать независимым подтверждением превосходства модели над конкурентами.

Публичным пользователям сейчас доступна только генерация интерактивных окружений. Веса Odyssey-3 не опубликованы, а доступ к API предоставляется по заявке. Таким образом, модель уже можно испытать в браузере, но полноценная интеграция и использование системы для управления реальными устройствами пока остаются ограниченными.