Исследователи из США разработали систему DRAWER, которая превращает короткое видео в интерактивную трехмерную симуляцию комнаты. Пользователи могут открывать шкафы, перемещать предметы и взаимодействовать с цифровой копией реального пространства.
Создание реалистичных 3D-моделей помещений традиционно требовало дорогостоящего оборудования и сложных процедур сканирования. Существующие методы компьютерного зрения хоть и способны воспроизвести внешний вид пространства с разных углов, но редко позволяют полноценно взаимодействовать с виртуальной средой.
Технология DRAWER решает эту проблему с помощью нескольких минут видеосъемки. Пользователю достаточно пройти по комнате с iPhone или другим смартфоном — взаимодействовать с предметами не нужно. Система анализирует видео и создает точную цифровую копию помещения.
Принцип работы технологии. Изображение: Hongchi Xia et al.
Во время презентации на конференции IEEE/CVF по компьютерному зрению разработчики сообщили, что главной сложностью стала интеграция разных моделей ИИ в единую систему. Исследователи объединили два метода рендеринга: один отвечает за визуальную реалистичность, другой — за точность размеров и геометрии.
Ключевой компонент DRAWER — модуль восприятия, который определяет подвижные элементы сцены и предсказывает механику их движения. Например, система автоматически распознает, как должна открываться дверца холодильника или выдвигаться ящик стола. Дополнительная модель генерирует содержимое скрытых частей мебели, воссоздавая наполнение ящиков и шкафов.
Съемка комнаты для моделирования. Видео: Hongchi Xia et al. Результат работы модели. Видео: Hongchi Xia et al.
Технология пригодится в игровой индустрии для создания реалистичных локаций. В тестовой игре, созданной для проверки работы модели, игрок сбивал предметы на виртуальной кухне шариками — сцена была создана на основе обычного видео. При этом DRAWER совместим с популярными игровыми движками.
Другое направление — обучение роботов в виртуальной среде. Исследователи натренировали систему управления роборукой в цифровом двойнике кухни, после чего робот повторил те же действия в реальном мире. Это может стать основой для подготовки бытовых роботов: пользователь просто загрузит видео своего дома, и робот заранее освоит пространство.
Робот, натренированный на виртуальной кухне. Видео: Hongchi Xia et al.
Пока DRAWER работает только с жесткими объектами: мебелью, посудой и техникой. Команда планирует расширить возможности системы для работы с мягкими и хрупкими материалами, такими как текстиль и стекло. Также в планах масштабирование до целых зданий и даже открытых пространств: чтобы использовать в архитектуре, городском планировании и сельском хозяйстве.
Код модели опубликован в открытом доступе на GitHub.
