«Слышать» глазами: умные очки расшифровали окружающие звуки для глухих – видео

28 октября 2020 | 11:09
Слышать глазами - умные очки расшифровали окружающие звуки для глухих – видео - фото 1

Инженеры из Google создали прототип умных очков для людей со слуховыми нарушениями.

Разработка была представлена на конференции UIST 2020.

Они работают вместе со смартфоном, который распознает окружающие речь и звуки, и отображают их в реальном времени в поле зрения пользователя. Поскольку за распознавание отвечает смартфон, аккумулятора очков хватает на 15 часов непрерывной работы.

Смартфоны заметно упростили жизнь людям с полной или частичной потерей слуха, потому что в них есть функция распознавания речи. До недавнего времени она отсылала запись звуков на сервер для обработки и получала в ответ текст, а в последнее время стали появляться полностью локальные расшифровщики речи, работающие почти мгновенно.

Таким образом, при необходимости человек с потерей слуха может распознавать речь при помощи смартфона и печатать ответы на клавиатуре. Но такая модель разговора работает только в том случае, если оба человека находятся рядом, а глухой знает, что с ним хотят поговорить. Существенная часть повседневных коммуникаций работает иначе.

К примеру, двое людей, живущих вместе, могут заниматься своими делами в разных комнатах или в одной, но будучи отвернутыми друг от друга, и один из них может что-то сказать или попросить, даже если между ними нет зрительного контакта — для глухих такое взаимодействие недоступно, потому что они попросту не будут знать, что к ним обратились.

Скриншот с відео

Потенциально это можно решить при помощи смартфона, который будет постоянно распознавать речь вокруг и вибрировать, если кто-то обратился к человека. Но тогда устройство нужно будет каждый раз доставать из кармана. Можно воспользоваться умными очками, но, к примеру, Google Glass работает в активном режиме с включенным экраном всего два часа.

Разработчики из Google объединили оба типа устройств, чтобы создать универсальный гаджет для удобной расшифровки речи и звуков на протяжении всего дня: умные очки, работающие 15 часов на одном заряде, и смартфон, отвечающий за преобразования речи и звуков в текст. Они создали прототип не на базе Google Glass, но на основе новой разработки своих коллег из Google, показавших в прошлом году прототип проекционной системы, которую можно встраивать в обычные очки.

Для экономии энергии, размера и веса устройства проектор встроен только в одну правую дужку. В ней также расположена плата управления и небольшой аккумулятор, а основной аккумулятор установлен в левой дужке. Масса очков составляет 54 грамма. Для работы очки связываются со смартфоном, который расшифровывает речь и бытовые звуки и в реальном времени передает текст через Bluetooth.

Разработчики провели исследование на добровольцах, сравнив распознавание речи при помощи только смартфона с новым методом. Во всех ситуациях удобство и осведомленность пользователя об окружающих звуках было выше при использовании очков или равным.

Как сообщал Realist, ранее разработчики из Google адаптировали приложения видеосвязи для глухих людей.

Курс валют от НБУ: доллар и евро подорожали
27 ноября 2020
Погода в Украине: вскоре «синоптический комфорт существенно ухудшится» - карта
27 ноября 2020
Первое космическое видео из капсулы SpaceX Crew: кадры от астронавта NASA - видео
27 ноября 2020
Тайны динозавров: почему животные ходили по потолку пещер - фото
27 ноября 2020
Минэкономики решило объявить конкурсный отбор на должность главы «Укрспирта»
26 ноября 2020
Впервые с вертикальным дизайном: НБУ выпустил новую сувенирную банкноту - видео
26 ноября 2020