Nvidia выпустила Isaac Lab 3.0 для обучения роботов в симуляциях

Nvidia выпустила Isaac Lab 3.0 — обновлённый набор инструментов для обучения роботов в симуляциях. В новой версии разработчики расширили возможности физического моделирования, добавили несколько вариантов рендеринга и упростили перенос обученных моделей на реальное оборудование.

Одним из ключевых изменений стала модульная архитектура. Физический движок, рендеринг изображений с виртуальных камер и инструменты визуализации теперь можно выбирать независимо друг от друга. Для многих сценариев больше не требуется устанавливать и запускать полноценный Isaac Sim: достаточно использовать движок Newton или отдельные библиотеки OVPhysX и OVRTX.

Несколько физических моделей в одном движке

Newton объединяет несколько методов расчёта физики, рассчитанных на разные типы объектов и материалов. MJWarp предназначен для моделирования роботов с жёсткими звеньями и суставами, а VBD — для симуляции тканей, мягких тел и кабелей. Метод MPM используется при работе с жидкостями и сыпучими материалами.

В состав Newton также входит экспериментальный метод Kamino. Он предназначен для механизмов с замкнутыми кинематическими цепями — например, конструкций, в которых звенья образуют контур и движение одного элемента зависит сразу от нескольких соединений.

Рендеринг и реконструкция реальных сцен

Для виртуальных камер в Isaac Lab 3.0 доступны два варианта рендеринга: быстрый Newton Warp и RTX-рендеринг OVRTX. Это позволяет выбирать между скоростью расчётов и более детализированной визуализацией в зависимости от задачи.

В симулятор добавили поддержку Cosmos 3-Nano Transfer. Система преобразует карты глубины в фотореалистичные видео на основе текстовых подсказок. Кроме того, поддержка 3D Gaussian rendering позволяет использовать реконструкции реальных сцен непосредственно в симуляциях.

Экспорт моделей на реальные устройства

За перенос обученных моделей на физическое оборудование отвечает модуль LEAPP. Он экспортирует не только саму модель, но и обработку входных данных. В результате формируется пакет, включающий файлы модели в формате ONNX и сопутствующие метаданные.

Стабильная версия Isaac Lab 3.0 опубликована на GitHub. Nvidia также разместила на своём сайте интерактивные демонстрации, а в официальной документации подготовила руководство по миграции на новую версию.