Исследователи из Техасского университета в Остине создали неинвазивный семантический декодер — систему, способную преобразовать мозговую активность человека во время прослушивания истории или работы воображения в непрерывный поток текста. Разработка в будущем поможет общаться людям, которые находятся в сознании, но не могут говорить, например, после перенесенного инсульта.
Чтобы научить систему распознавать речь, ее обучают на паттернах мозговой активности конкретного человека. Участника помещают в сканер для функциональной МРТ (фМРТ), где он в течение нескольких часов слушает подкасты, в то время как система записывает данные об активности мозга.
Обученный на основе такого набора данных семантический декодер позволяет довольно точно распознавать мысли человека при прослушивании других подкастов или истории, которые он рассказывает в воображении. Для анализа данных исследователи используют модели, аналогичные применяемым в чат-ботах, как ChatGPT или Bard AI.
Результат не является дословной расшифровкой сказанного. Вместо этого он улавливает суть высказывания и передать главную мысль. Он генерирует текст, который близко (реже точно) соответствует предполагаемому значению исходных слов. Например, для участника, который слышал фразу «У меня еще нет водительских прав», декодер генерировал текст: «Она еще даже не начала учиться водить».
Хотя такая система все еще несовершенна — это большой прогресс для неинвазивных систем распознавания речи, отмечают исследователи. Предыдущие разработки требовали имплантируемых в мозг устройств и работали только с ограниченным запасом слов. Для практического применения потребуется дальнейшее развитие технологии: как в части точности распознавания речи, так и в отсутствии необходимости для участника постоянно находиться в сканере фМРТ.
