Программисты Alibaba разработали систему, способную анимировать одну портретную фотографию и создавать реалистичные видеоролики говорящего или поющего человека. В демонстрационных роликах инженеры «заставляют» реальные фотографии или даже картины читать рэп, петь песни или произносить монолог из театральных пьес.
Демонстрация возможностей EMO
Для разработки EMO исследователи из Института интеллектуальных вычислений Alibaba обучили систему, используя набор данных, состоящий из более чем 250 часов видео «говорящих голов», взятых из различных источников, таких как речи, фильмы, телешоу и вокальные выступления. В системе используется диффузионная модель — технология ИИ, которая уже показала эффективность при создании реалистичных синтетических изображений.
В то время как существующие методы создания анимации музыки или аудио в значительной степени полагались на 3D-моделирование или смешивание форм для имитации движения лица, EMO использует более прямой подход. Он преобразует звуковые волны непосредственно в видеокадры, в результате чего получается удивительно естественная анимация, отражающая тонкие манеры и индивидуальные особенности человека.
В экспериментах, описанных в исследовательской статье, опубликованной на arXiv, EMO превзошла существующие современные методы с точки зрения качества видео, сохранения идентичности и выразительности. Исследование пользователей, проведенное исследователями, также показало, что видеоролики, созданные EMO, воспринимаются как более естественные и эмоциональные, чем видеоролики, созданные другими системами.
EMO может не только создавать реалистичные диалоговые видеоролики, но также анимировать поющие портреты с соответствующими формами рта и выражениями лица, синхронизированными с вокалом. Система поддерживает создание видео произвольной продолжительности в зависимости от длины входного аудио.
