Инженеры из Google создали прототип умных очков для людей со слуховыми нарушениями.
Разработка была представлена на конференции UIST 2020.
Они работают вместе со смартфоном, который распознает окружающие речь и звуки, и отображают их в реальном времени в поле зрения пользователя. Поскольку за распознавание отвечает смартфон, аккумулятора очков хватает на 15 часов непрерывной работы.
Смартфоны заметно упростили жизнь людям с полной или частичной потерей слуха, потому что в них есть функция распознавания речи. До недавнего времени она отсылала запись звуков на сервер для обработки и получала в ответ текст, а в последнее время стали появляться полностью локальные расшифровщики речи, работающие почти мгновенно.
Таким образом, при необходимости человек с потерей слуха может распознавать речь при помощи смартфона и печатать ответы на клавиатуре. Но такая модель разговора работает только в том случае, если оба человека находятся рядом, а глухой знает, что с ним хотят поговорить. Существенная часть повседневных коммуникаций работает иначе.
К примеру, двое людей, живущих вместе, могут заниматься своими делами в разных комнатах или в одной, но будучи отвернутыми друг от друга, и один из них может что-то сказать или попросить, даже если между ними нет зрительного контакта — для глухих такое взаимодействие недоступно, потому что они попросту не будут знать, что к ним обратились.
Скриншот с відео
Потенциально это можно решить при помощи смартфона, который будет постоянно распознавать речь вокруг и вибрировать, если кто-то обратился к человека. Но тогда устройство нужно будет каждый раз доставать из кармана. Можно воспользоваться умными очками, но, к примеру, Google Glass работает в активном режиме с включенным экраном всего два часа.
Разработчики из Google объединили оба типа устройств, чтобы создать универсальный гаджет для удобной расшифровки речи и звуков на протяжении всего дня: умные очки, работающие 15 часов на одном заряде, и смартфон, отвечающий за преобразования речи и звуков в текст. Они создали прототип не на базе Google Glass, но на основе новой разработки своих коллег из Google, показавших в прошлом году прототип проекционной системы, которую можно встраивать в обычные очки.
Для экономии энергии, размера и веса устройства проектор встроен только в одну правую дужку. В ней также расположена плата управления и небольшой аккумулятор, а основной аккумулятор установлен в левой дужке. Масса очков составляет 54 грамма. Для работы очки связываются со смартфоном, который расшифровывает речь и бытовые звуки и в реальном времени передает текст через Bluetooth.
Разработчики провели исследование на добровольцах, сравнив распознавание речи при помощи только смартфона с новым методом. Во всех ситуациях удобство и осведомленность пользователя об окружающих звуках было выше при использовании очков или равным.
Как сообщал Realist, ранее разработчики из Google адаптировали приложения видеосвязи для глухих людей.