Японские ученые разработали алгоритм, превращающий мысли в картинки

Компьютер, способный читать мысли, найдет широкое применение в повседневной жизни и сможет стать спасением для парализованных людей, не имеющих другого способа общения. Ученые на шаг приблизились к созданию этой революционной системы, разработав алгоритм для интерпретации и точного воспроизведения изображений, видимых или воображаемых другим человеком.

Использование алгоритмов для декодирования воображаемых изображений не ново. С 2011 года исследователи пытаются воссоздать видеоклипы, фотографии и даже сны, сопоставляя деятельность мозга с активностью, записанной ранее при их просмотре. Но все эти методы имеют ограничения: некоторые работают только с узкими областями (например, формой лица), а другие не могут создавать изображение с нуля (вместо этого они должны выбирать из предварительно запрограммированных изображений или категорий: «человек», «птица» и т. д.) В отличие от них, новая технология может генерировать распознаваемые изображения «на лету».

Чтобы определить, что видит мозг, когда человек смотрит на ту или иную картинку, ученые из Киотского университета (Япония) использовали функциональную магнитную томографию (фМРТ). Пока три добровольца рассматривали 1000 изображений, машина записывала активность разных уровней зрительной системы их мозга. Эту информацию они использовали для создания «шаблонов», а глубокое обучение помогло генератору создавать рисунки, которые бы имитировали эту активность. Иначе говоря, система пыталась нарисовать изображение, которое бы вызвало у нейросети реакцию, соответствующую человеческой.

Компьютер делал это методом проб и ошибок, пока, наконец, не получал желаемое изображение, будь-то утка, леопард или витраж. Первое полученное изображение системы выглядело как белый шум телевизора, но после 200 раундов приближалось к «идеалу» — сравнительно распознаваемому объекту.

Также ученые попытались прочесть мысли людей, просто воображающих образы. На этот раз они записали активность мозга трех человек, попросив их вспомнить ранее увиденные изображения, в т. ч. рыбу, самолет и простые цветные фигуры. Этот метод плохо работал для фотографий, но в случае фигур генератор создавал распознаваемое изображение в 83% случаев.

«Чтобы воссоздать изображения, мы сначала перевели паттерны активности мозга в функции глубокой нейронной сети (DNN), а затем передали их алгоритму реконструкции. Восстановление начинается с заданного исходного изображения, а затем алгоритм оптимизирует значения пикселей, чтобы функции DNN были похожи на те, которые декодировали из активности мозга», — объясняют исследователи.

На подготовку технологии к практическому использованию может уйти несколько десятилетий, но ученые рассчитывают, что фМРТ с высоким разрешением и другие методы визуализации головного мозга помогут улучшить результаты.

«Благодаря постоянному совершенствованию алгоритмов мы могли бы когда-нибудь обмениваться мысленными изображениями», — предсказывает Николаус Кригескорте, нейробиолог из Института Цукермана (США), не участвовавший в исследовании.

Источник: Science