Студенты Стэнфордского университета разработали очки, которые «слушают ваш разговор и точно говорят вам, что сказать дальше». Устройство умеет распознавать лица, чтобы использовать историю сообщений с конкретным человеком для моделирования разговора. Разработчики описали принципы и показали работу устройства в своем Twitter.
Очки с искусственным интеллектом rizzGPT связываются через Bluetooth с веб-приложением на главном устройстве, которым может быть телефон пользователя. Когда пользователь говорит или участвует в разговоре, звук преобразуется в текст в режиме реального времени. Устройство использует систему распознавания речи Whisper от OpenAI. На основе полученных данных система предлагает возможные ответы на заданные вопросы.
В основе разработке умные очки Monocle AR, разработанные компанией Brilliant Labs. Они используют микрофон, дисплей с высоким разрешением и камеру для взаимодействия с пользователем и окружением.
Демонстрация работы устройства. Видео: Bryan Hau-Ping Chiang
Демонстрация работы устройства. Видео: Bryan Hau-Ping Chiang
В видеодемонстрации один из участников задает вопросы пользователю очков. Система интерпретируют вопрос и с небольшой задержкой генерирует ответ, который отображается на стеклянном экране. Все это происходит за долю секунды. Разработчики отмечают, что скорость транскрипции зависит от скорости Wi-Fi или мобильного интернета на основном устройстве.
Устройство вряд ли подойдет для реального использования в повседневной жизни. Прототип должен быть модернизирован, чтобы увеличить время автономной работы, уменьшить вес и сделать его менее громоздким и удобным в использовании.
