Американские ученые и инженеры разработали прототип инвазивного устройства-декодера, позволяющего синтезировать речь по активности мозга при движении органов речевого тракта — причем в одном эксперименте им удалось воспроизвести беззвучную речь, хотя и с потерей качества.
Об этом сообщается в журнале Nature.
Группа под руководством Эдварда Ченга из Калифорнийского университета в Сан-Франциско предложила свой метод синтеза речи по мозговой активности при движении челюсти, гортани, губ и языка. По их словам, этот двухэтапный метод (распознавания активности мозга, связанной с движением органов речи, и трансформации этих сигналов в слова) сейчас позволяет точнее синтезировать речь, чем если бы добровольцы, к примеру, думали о заданных словах или даже просто предметах, хотя такие методы тоже интересуют ученых
Сначала исследователи с помощью электрокортикографа записывали сигналы коры головного мозга у пятерых свободно говорящих добровольцев с эпилепсией, которые произносили вслух несколько сотен предложений. Эти предложения были специально подобраны так, чтобы воспроизводить весь спектр типичной для английского языка активности речевого тракта. При этом авторы исследования считают, что их прототип вполне сможет работать и с другими языками при предварительном обучении на соответствующем языковом материале.
Они обучили одну рекуррентную нейронную сеть распознавать в активности вентральной сенсомоторной коры, верхней височной извилины и нижней лобной извилины элементы движения речевого тракта, а вторую сеть — распознавать в них акустические параметры речи, исходя из которых она затем синтезировалась.
Помимо совершенствования самого алгоритма распознавания и синтезирования речи, ученые планируют продолжить работу, на этот раз с людьми, имеющими приобретенные проблемы с речью и, возможно, даже никогда не говоривших по медицинским причинам — однако Ченг затруднился сказать, сколько времени пройдет до момента клинических испытаний системы или тем более до внедрения ее в медицинскую практику. Испытания на людях с проблемами речи, по его словам, еще не начались. Кроме того, сейчас работа прототипа требует хирургического вмешательства для размещения датчиков на коре мозга, и, по словам Ченга, неинвазивных инструментов такой точности пока нет.
Ранее сообщалось, что более двух третей атеистов, перестают ими быть после мистического опыта, вызванного в том числе приемом психоделиков. К такому выводу пришли ученые Университета Джонса Хопкинса в результате онлайн-опроса.