Компанія Resemble AI, яка займається розробками в області синтезу мовлення, представила Localize - програму для локалізації мовлення зі збереженням оригінального голосу.
Про сервіс повідомляє Engadget.
Поки що в Localize доступні шість мов: англійська, німецька, французька, іспанська, італійська та голандська, але розробники обіцяють розширити їх список, в першу чергу додавши корейську, японську та північнокитайську.
Сучасні системи синтезу мови працюють досить якісно: принаймні, вже пару років назад їхні результати не відрізнялись від людської мови - а на виробництво потрібно було не так багато даних. Одна з невирішених поки що проблем - це проблема локалізації: готових рішень, які дозволяли б якісно перекладати мову з однієї мови на іншу зі збереженням голосу, дуже мало.
Наприклад, в минулому році Google представила свою таку систему на основі нейромереж з довгою короткостроковою пам'яттю - Translatotron: він може якісно локалізувати мову без проміжного кроку перекладу мовлення в текст. Проект, проте, поки що залишається виключно дослідницьким: компанія, судячи з усього, не використовує його в своїх сервісах і не надає іншим компаніям.
Resemble AI пішли трохи далі: їхня Localize вже доступна для користувачів. Про сам алгоритм в основі програми відомо небагато, але розробники вирішили не обходити крок синтезу тексту в мову, як це зробила Google, тому їх сервіс дозволяє не просто переводити мову безпосередньо зі збереженням всіх характеристик, але також і синтезувати її з тексту.
Крім того, Resemble AI для своїх продуктів (крім Localize це також і стандартні сервіси синтезу мови) використовує власний вокодер на основі генеративно-змагальних нейромереж - HooliGAN, який в тому числі дозволяє генерувати мовлення на основі невеликої кількості даних. Також компанія виклала у вільний доступ API і документацію до нього: судячи по ній, сторонні розробники зможуть керувати деякими параметрами синтезу локалізованого мовлення (наприклад, змінювати емоційне забарвлення сказаного).
Що стосується сфер використання програми, то Resemble AI в першу чергу націлена на те, що Localize зможе локалізувати фільми в різних країнах з використанням оригінального голосу актора.
Як повідомляв Realist, Google Translate поліпшив техніку перекладу завдяки оновленням, тепер програма використовує методику Neural Machine Translation.