Система использует имитационное обучение и анализирует видеозаписи реальных операций. О разработке сообщает пресс-служба Университета Джонса Хопкинса.
Исследователи из Университета Джонса Хопкинса и Стэнфордского университета обучили хирургического робота выполнять сложные медицинские процедуры с высокой точностью. Чтобы достичь этого, они использовали имитационное обучение: робот повторял действия, которые освоил путем просмотра сотен видеозаписей реальных хирургических операций.
Система использует ту же архитектуру машинного обучения, что и система ChatGPT, но вместо языка и текста она «говорит на языке робота» — использует кинематику и математические выражения для управления движениями хирургического манипулятора. После просмотра видео с камер, установленных на руках роботов da Vinci во время операций, модель воспроизвела те же хирургические процедуры с уровнем мастерства, сопоставимым с опытными врачами.
Робот-хирург
По словам разработчиков, ключевым моментом было обучение модели понимать отдельные движения, а не заучивать конкретные процедуры — последовательности действий. «Все, что нам нужно, — это ввод изображения, а затем эта система ИИ находит правильное решение», — отметил Джи Вун «Брайан» Ким, соавтор исследования.
Модель так хорошо учится вещам, которым мы ее не учили. Например, если она уронит иглу, она автоматически поднимет ее и продолжит. Это не то, чему я ее учил.
Аксель Кригер, соавтор исследования из Университета Джона Хьюза
Авторы исследования утверждают, что подход устраняет необходимость тщательного программирования роботов для каждого отдельного шага медицинской процедуры, открывая путь к подлинной автономности хирургических роботов. Теперь они могут быстро обучаться выполнению практически любых операций, сокращая риск врачебных ошибок и повышая точность хирургических вмешательств.
Это действительно волшебно иметь эту модель. Мы считаем, что это знаменует собой значительный шаг вперед к новому рубежу в медицинской робототехнике.
Аксель Кригер, соавтор исследования из Университета Джона Хьюза
