«Чути» очима: розумні окуляри розшифрували навколишні звуки для глухих - відео

28 жовтня 2020 | 11:09
Чути очима - розумні окуляри розшифрували навколишні звуки для глухих - відео - фото 1

Інженери з Google створили прототип розумних окулярів для людей зі слуховими порушеннями.

Розробка була представлена на конференції UIST 2020.

Вони працюють разом зі смартфоном, який розпізнає навколишню мову і звуки, і відображають їх у реальному часі в полі зору користувача. Оскільки за розпізнавання відповідає смартфон, акумулятора окулярів вистачає на 15 годин безперервної роботи.

Смартфони помітно спростили життя людям з повною або частковою втратою слуху, тому що в них є функція розпізнавання мови. До недавнього часу вона відсилала запис звуків на сервер для обробки і отримувала у відповідь текст, а останнім часом стали з'являтися повністю локальні розшифровувачі мови, що працюють майже миттєво.

Таким чином, при необхідності людина з втратою слуху може розпізнавати мову за допомогою смартфона і друкувати відповіді на клавіатурі. Але така модель розмови працює тільки в тому випадку, якщо обидві людини перебувають поруч, а глухий знає, що з ним хочуть поговорити. Істотна частина повсякденних комунікацій працює інакше.

Наприклад, двоє людей, що живуть разом, можуть займатися своїми справами в різних кімнатах або в одній, але будучи відвернутими один від одного, і один з них може щось сказати або попросити, навіть якщо між ними немає зорового контакту - для глухих така взаємодія недоступна, тому що вони просто не знатимуть, що до них звернулися.

Скріншот з відео

Потенційно це можна вирішити за допомогою смартфона, який буде постійно розпізнавати мову навколо і вібрувати, якщо хтось звернувся до людини. Але тоді пристрій потрібно буде кожен раз діставати з кишені. Можна скористатися розумними очками, але, наприклад, Google Glass працює в активному режимі з включеним екраном всього дві години.

Розробники з Google об'єднали обидва типи пристроїв, щоб створити універсальний гаджет для зручної розшифровки мови і звуків протягом усього дня: розумні окуляри, що працюють 15 годин на одному заряді, і смартфон, який відповідає за перетворення мови і звуків в текст. Вони створили прототип не так на основі Google Glass, але на основі нової розробки своїх колег з Google, які показали в минулому році прототип проекційної системи, яку можна вбудовувати в звичайні окуляри.

Для економії енергії, розміру і ваги пристрою проектор вбудований тільки в одну праву дужку. У ній також розташована плата управління і невеликий акумулятор, а основний акумулятор встановлений в лівій дужці. Маса окулярів становить 54 грама. Для роботи окуляри зв'язуються зі смартфоном, який розшифровує мовлення і побутові звуки і в реальному часі передає текст через Bluetooth.

Розробники провели дослідження на добровольцях, порівнявши розпізнавання мови за допомогою тільки смартфона з новим методом. У всіх ситуаціях зручність і обізнаність користувача про оточуючі звуки були вищими при використанні окулярів або рівними.

Як повідомляв Realist, раніше розробники з Google адаптували додаток відеозв'язку для глухих людей.

Коли буде знищена Сонячна система: астрономи спрогнозували долю сусідів Землі
01 грудня 2020
«Ленінопад» з несподіваною заміною: в Запорізькій області поставили скульптуру Ісусу - фото
01 грудня 2020
«Подарунок Кубрика» з'явився знову: в Європі теж знайшли таємничий обеліск - відео
01 грудня 2020
Вбивство «батька іранської бомби»: всі подробиці інциденту, коли та кому помститься Іран
01 грудня 2020
Ціна «крутого відео»: підлітки підпалили свого друга, поліція відкрила справу
01 грудня 2020
Під «брендом «ДНР»: в окупованому Донецьку з'явився свій ФК «Шахтар» - фото
01 грудня 2020