Исследователи из Технологического института Карлсруэ (KIT) и Университета Карнеги-Меллона (CMU) разработали метод улучшения видеоконференций. Теперь их можно проводить даже используя соединения с очень низкой пропускной способностью, передавая данные даже в экстремальных условиях. Систему уже испытали во время погружения к месту крушения «Титаника». Оно находится на глубине почти 4 000 метров в Северной Атлантике.
«Передача данных с глубины четырех километров через соленую воду без каких-либо потерь чрезвычайно сложна», — рассказывает профессор Алекс Вайбел, соавтор исследования, которое провели сотрудники KIT.
В ходе эксперимента исследователи разработали синтетические методы преобразования видеоданных в текст. Запись звука сначала преобразуется в подводном аппарате, а затем передается на поверхность звуковыми импульсами гидролокатора. Там видео восстанавливается из текста.
Подводный аппарат подготовлен к погружению к месту крушению «Титаника» утром 14 июля 2022 года. Автор: Алекс Вайбел, KIT
Затем в видео появляется синтетический голос, который сопоставляется с голосом человека. Синтез видео управляется таким образом, что губы говорящего двигаются синхронно со звуком. В будущем, это облегчит дистанционное общение
Технология, опробованная инженерами при погружении к месту крушения «Титаника», основана на десятилетиях новаторской работы в области перевода речи. Ранее Алекс Вайбел, соавтор исследования, создал переводчик лекций, который используется в Технологическом институте Карлсруэ для автоматической записи речи профессоров на лекциях и одновременного перевода речевых сигналов в письменный текст на английском языке.
