Интерфейс «мозг-компьютер» успешно преобразовал нейронные сигналы в речь. В дальнейшем такие технологии помогут вернуть людям с различными нарушениями речевых функций (вплоть до их полной потери) способность говорить. Для этого нужно будет только мысленно сформулировать предложение, а система преобразует сгенерированные таким образом сигналы мозга в обычную речь. Такая система находится в стадии разработки, и исследователям уже удалось добиться значительных успехов.
Достижения ученых в области интерфейса «мозг-компьютер»
В США ученые из Калифорнийского университета в Сан-Франциско опубликовали в специализированном журнале «Nature» исследование на эту тему. Их работа доказывает, что мысленно сформулированные предложения можно записать на компьютер в виде мозговых волн, а затем преобразовать в обычную речь. Ученые надеются, что в дальнейшем созданная ими технология будет доработана, и с ее помощью станет возможно вернуть способность говорить людям, которые потеряли речь в результате травм, сопровождающихся повреждениями головного мозга, инсультов, тяжелых нервных заболеваний.
Уже на данном этапе исследований ученым из Калифорнийского университета с помощью записи мозговых волн удалось воспроизвести полные предложения. Участник работы над исследованием Эдвард Чанг завил, что его команда стала первой в мире, кому удалось доказать возможность на основании активности головного мозга генерировать целые предложения.
В январе минувшего года аналогичное исследование ученых из Колумбийского университета было опубликовано в специализированном журнале «Scientific Reports». Здесь ученые добились меньших результатов, чем их коллеги из Калифорнии. На основании мозговой активности им удалось распознать только цифры от 1 до 9, но не другие слова или целые предложения.
Предыдущие эксперименты ученых показали, что считывать целые предложения из нейронных сигналов речевого центра мозга очень сложно. Чтобы обойти эту проблему, неврологи считывали мозговые волны из части головного мозга, которая контролирует координацию языка, губ, челюсти и гортани и таким образом обеспечивает генерацию звуков.
Эксперимент с 5 участниками
После проведения теоретических исследований ученые перешли к проверке своих выводов на практике. Для участия в эксперименте были выбраны 5 человек, которые не страдали потерей речи, но ранее в связи с другими заболеваниями деятельность их мозга уже отслеживалась с помощью имплантированных электродов. На первом этапе практического исследования участники читали вслух несколько сотен предложений. В процессе чтения производилась запись нейронных сигналов голосового тракта. Запись нейронных сигналов ученые соединили с речевыми данными таким образом, чтобы определенные мозговые волны были закреплены за отдельными словами. Нейронные сигналы при прочтении одинаковых слов у участников эксперимента значительно отличались, поэтому ученым необходимо было составлять соответствия индивидуально для каждого человека.
Следующим этапом эксперимента стала разработка неврологами виртуального голосового тракта. Испытуемые получили возможность управлять виртуальным голосовым трактом с помощью собственных нейронных сигналов. После оценки мозговых волн искусственным интеллектом за ними закреплялось определенное слово. Данные оправлялись в виртуальный речевой тракт, который на основании сигналов генерировал слышимую речь. По оценкам участников эксперимента, примерно 69% отдельных сгенерированных слов были хорошо понятны. С целыми предложениями дело обстояло хуже, легкими для понимания было около 43% текста.
На последнем этапе эксперимента запись мозговых волн для определения их соответствия словам велась не во время чтения вслух, а в процессе бесшумного выполнения испытуемыми соответствующих речевых движений. На основании таких записей также ученым удалось генерировать речь, но ее качество по оценкам участников эксперимента было ниже, чем в случае использования записей мозговых волн во время чтения.
Практическое применение новой разработки
Для применения на практике технология нуждается в значительной доработке. На данном этапе она может помочь только пациентам с определенными нарушениями речевых функций. Если у человека парализованы мышцы лица, он не может выполнять речевые движения. Соответственно, на данном этапе разработки новой технологии невозможно определить соответствие мозговых волн и слов. Как помочь людям, которые могут воспроизводить предложения только в уме, ученым еще только предстоит выяснить.
В планы ученых из Калифорнийского университета входит поиск методов распознавания речи на основе только мысленно сформулированных предложений, но такие исследования еще не проводились.
Александр Берг, журнал „Neue Zeiten“ 01 (247) 2022
