Инженеры из MIT использовали симуляцию искусственной среды и обучение с подкрепления, чтобы научить робота играть в футбол в различных условиях. «DribbleBot» успешно манипулирует мячом на таких ландшафтах, как песок, гравий, грязь и снег. Исследование носит не только теоретический, но и практический характер: роботы, которые легко перемещаются в сложных и непредсказуемых условиях подойдут для использования в спасательных операциях.
Изменение свойств поверхности меняет динамику движения мяча. Для управления и дриблинга (ведения мяча) робот, передвигающийся с помощью четырех ног, использует встроенные датчики, компьютерное зрение и вычислительную систему, которая оценивает внешние условия и определяет траектории движения самого робота и мяча.
Для ускоренного обучения исследователи использовали искусственную симуляцию — цифровой двойник природы. Она позволяет загрузить необходимые физические параметры среды, и моделировать динамику предметов в таких условиях. С помощью этого подхода инженеры одновременно моделировали 4 000 версий робота, соответственно ускоряя отработку движений. Практика в реальных условиях начинается после таких симуляций.
Робот начинает обучение, не зная, как вести мяч — он просто получает вознаграждение, когда делает это, или отрицательное подкрепление, когда ошибается, объясняют разработчики. Таким образом, он, по сути, пытается выяснить, какую последовательность сил он должен прикладывать к своим ногам.
Обучение робота ведению мяча. Видео: MIT CSAIL
Исследователи отмечают, что большинство предыдущих разработок концентрируется только на одной задаче: робот либо бежит, либо пасует мяч. Обучение ведению мяча требует большей сложности и в большей степени зависит от внешней среды. Робот должен адаптировать свое движение, чтобы воздействовать на мяч. При этом взаимодействие между мячом и внешней средой может отличаться от взаимодействия между роботом и ландшафтом. Например, трение, который футбольный мяч будет испытывать на траве и на тротуаре отличается, а наклон будет вызывать ускорение, изменяя типичную траекторию мяча.
В отличие от более устойчивых роверов (колесных роботов), четвероногие роботы теоретически более маневренны и могут перемещаться в сложных условиях во время стихийного бедствия, например, после наводнения или землетрясения. Но, чтобы реализовать эти возможности, нужно создать систему, которая сможет быстро адаптироваться к изменяющимся внешним условиям.
Наша цель при разработке алгоритмов для роботов, перемещающихся на ногах — обеспечить автономию в сложных условиях, которые в настоящее время недоступны для роботизированных систем.
Пулкит Агравал, профессор и руководитель лаборатории Массачусетского технологического института
