Почути улюблених героїв в оригіналі: програма синтезу мови переозвучить фільми

21 жовтня 2020 | 14:12
Почути улюблених героїв в оригіналі - програма синтезу мови переозвучить фільми - фото 1

Компанія Resemble AI, яка займається розробками в області синтезу мовлення, представила Localize - програму для локалізації мовлення зі збереженням оригінального голосу.

Про сервіс повідомляє Engadget.

Поки що в Localize доступні шість мов: англійська, німецька, французька, іспанська, італійська та голандська, але розробники обіцяють розширити їх список, в першу чергу додавши корейську, японську та північнокитайську.

Сучасні системи синтезу мови працюють досить якісно: принаймні, вже пару років назад їхні результати не відрізнялись від людської мови - а на виробництво потрібно було не так багато даних. Одна з невирішених поки що проблем - це проблема локалізації: готових рішень, які дозволяли б якісно перекладати мову з однієї мови на іншу зі збереженням голосу, дуже мало.

Наприклад, в минулому році Google представила свою таку систему на основі нейромереж з довгою короткостроковою пам'яттю - Translatotron: він може якісно локалізувати мову без проміжного кроку перекладу мовлення в текст. Проект, проте, поки що залишається виключно дослідницьким: компанія, судячи з усього, не використовує його в своїх сервісах і не надає іншим компаніям.

Resemble AI пішли трохи далі: їхня Localize вже доступна для користувачів. Про сам алгоритм в основі програми відомо небагато, але розробники вирішили не обходити крок синтезу тексту в мову, як це зробила Google, тому їх сервіс дозволяє не просто переводити мову безпосередньо зі збереженням всіх характеристик, але також і синтезувати її з тексту.

Крім того, Resemble AI для своїх продуктів (крім Localize це також і стандартні сервіси синтезу мови) використовує власний вокодер на основі генеративно-змагальних нейромереж - HooliGAN, який в тому числі дозволяє генерувати мовлення на основі невеликої кількості даних. Також компанія виклала у вільний доступ API і документацію до нього: судячи по ній, сторонні розробники зможуть керувати деякими параметрами синтезу локалізованого мовлення (наприклад, змінювати емоційне забарвлення сказаного).

Що стосується сфер використання програми, то Resemble AI в першу чергу націлена на те, що Localize зможе локалізувати фільми в різних країнах з використанням оригінального голосу актора.

Як повідомляв Realist, Google Translate поліпшив техніку перекладу завдяки оновленням, тепер програма використовує методику Neural Machine Translation.

«Прем'єра зимового сезону»: місцями очікується дощ, сніг і сильний вітер - карта
01 грудня 2020
Перший український гірокоптер: що таке автожир і як проходять випробування - відео
30 листопада 2020
«Нездоровий для чутливих груп»: в Києві зафіксовано сумний рекорд - фото
30 листопада 2020
Історичний вибір: Папа Римський призначив нових кардиналів - відео
30 листопада 2020
Вина за загибель легенди: з'явилася несподівана версія смерті футболіста Марадони
30 листопада 2020
Чим запам'ятається 2020 й: американський словник назвав головне слово року, що минає
30 листопада 2020