Для виртуальной реальности: ученые научили нейросеть распознавать слова, написанные пальцем в воздухе

29 июня 2020 | 06:00

Ученые из Университета Аризоны создали алгоритм, который распознает слова, написанные пальцем в воздухе. Такой метод создали для шлемов виртуальной реальности.

Об этом говорится в статье, которую представили на Fourth Workshop on Computer Vision for AR / VR.

Ученые выбрали два устройства, которые можно использовать для распознавания текста: рукавица с измерительным прибором на кончике указательного пальца и прибор для отслеживания траектории и устройство Leap Motion, который отслеживает движение кисти и передает эти данные на компьютер.

Leap Motion это небольшой USB-устройство, которое создает невидимое поле для взаимодействия. Он отслеживает движение предметов в невидимом поле с большой точностью и позволяет человеку бесконтактно взаимодействовать с компьютером.

Используя эти устройства, человек должен просто написать слова пальцем в воздухе. Устройства считывают данные о траектории, затем нейросеть сравнивает слова, которые ввела человек, с теми, которые есть в ее базе данных, и показывает слово на экране.

Ученые проверили работу алгоритма на распознавании рукописного текста с 210 словами в базе данных. Для английского языка точность распознавания 79,7% при использовании Leap Motion и 78,5% - при использовании перчатки. Алгоритм лучше распознает китайский язык: точность 87,4% - для Leap Motion и 83,4% - для перчатки.

В то же время в алгоритма пока есть сложности с распознаванием различных почерков. Над этим ученые будут работать в дальнейшем.

Ранее сообщалось, что разработчик Владимир Алексеев из Германии с помощью нейросети создал мини-фильм «Пустая комната». Сценарий, музыку и внешность актеров разработал искусственный интеллект.