Исследователи из Кембриджского университета продемонстрировали способность робота обучаться на основе кулинарных видеороликов. Инженеры обучили робота восьми простым рецептам салатов с помощью видео. Кроме того, в результате эксперимента робот распознал и приготовил новый девятый рецепт, которому его не учили.
Исследователи разработали восемь простых рецептов салатов и засняли, как они их готовят. Затем они использовали общедоступную нейронную сеть для обучения своего робота-повара. Нейронная сеть была запрограммирована на определение ряда различных объектов, включая фрукты и овощи, используемые в восьми рецептах салатов (брокколи, морковь, яблоко, банан и апельсин).
Обучение робота-повора. Видео: Cambridge University
Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисти и лицо человека. И рецепты, и видео были преобразованы в векторы, и робот выполнил математические операции с векторами, чтобы определить сходство между демонстрацией и вектором.
Правильно определяя ингредиенты и действия повара-человека, робот мог определить, какой из рецептов готовился. Например, робот мог сделать вывод, что, если человек держит нож в одной руке, а морковь в другой, морковь будет нарезана. Из 16 просмотренных видео робот распознал правильный рецепт в 93% случаев, хотя он обнаружил только 83% действий человека-повара.
Робот также смог определить, что небольшие изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Также робот правильно распознал демонстрацию нового, девятого салата, добавил его в свою кулинарную книгу и приготовил.
Повара-люди могут изучать новые рецепты посредством наблюдения за тем, как готовит другой человек, или просмотра видео на YouTube. Программирование робота-кулинара требует больших затрат и времени. Результаты исследования показывают, что визуальное обучение роботов приготовлению пищи возможно.
