Для захвата движений не нужны специализированные помещения, громоздкие камеры и множество датчиков, заявляют разработчики.
Инженеры Северо-Западного университета в США разработали систему захвата движений MobilePoser, которая использует датчики, встроенные в потребительские гаджеты — смартфоны, умные часы и беспроводные наушники. Система обрабатывает данные с помощью ИИ, чтобы определять позу человека и его движения в реальном времени.
Акселерометры, гироскопы и другие датчики встроены в мобильные устройства, но их точность слишком низкая для точного захвата движений, объясняют разработчики. Чтобы решить эту проблему, инженеры разработали многоступенчатый алгоритм ИИ, который они обучили с использованием общедоступного набора данных инерциальных измерительных устройств, полученных из высококачественных данных захвата движения.
Демонстрация MobilePoser
MobilePoser получает от датчиков в гаджетах информацию об ускорении и ориентации тела. Алгоритм ИИ на основе собранных данных оценивает положение и вращение суставов, скорость и направление ходьбы, а также контакт между ногами пользователя и землей.
Оптимизатор, обученный на физике движения, корректирует результат с учетом возможностей человеческого тела. Он учитывает, например, что суставы не сгибаются назад, а голова не может вращаться на 360 градусов. В экспериментах исследователи показали, что готовая система отслеживает движения с погрешностью 8–10 см.
Точность выше, когда человек носит больше одного устройства, например, умные часы на запястье и смартфон в кармане. Но особенность системы в том, что она адаптивна. Даже если у вас в какой-то день не будет часов, а будет только телефон, она адаптируется, чтобы определить положение всего вашего тела.
Каран Ахуджа, руководитель исследования
Традиционно для захвата движений, например, во время съемки фантастических фильмов, актеры надевают облегающие костюмы, покрытые датчиками, и ходят по специальным помещениям. Другие решения, например, Microsoft Kinect, используют стационарные камеры, которые отслеживают движения в нескольких объективов.
Разработчики полагают, что MobilePoser расширит возможности для отслеживания движений для компьютерных игр, виртуальной реальности и приложений для здоровья и фитнеса. Приложение не только считает шаги, но покажет пользователю осанку во время упражнений. Разработчики обещают, что приложение скоро будет доступно для iPhone, AirPods и Apple Watch.
