Translatotron: будущее синхронного перевода уже наступило?

Google представила свою новую наработку в области синхронного перевода –Translatotron. Об этом компания рассказала в своем блоге.

Как правило, для перевода устной речи в любой языковой паре (например, русский-английский, китайский-испанский) специальные программы используют каскадную модель: сперва робот определяет речь для ее транскрипции, после чего осуществляется машинный перевод для более легкого восприятия программой, а в конце – текст переводится в аудиозапись. Такая система используется и в нынешней версии Google Translate.

Новый прототип Google минует этап кодировки речи в текст. Разработанная нейросеть воспринимает аудиофайл с голосом и обрабатывает речь на другом языке, выводя результат перевода после синтеза.

Кроме того, Translatotron умеет сохранять интонацию и паузы в речи и голос спикера при переводе. Стоит заметить, что при сохранении голоса спикера перевод может разительно отличаться, поскольку эта версия еще находится в этапе доработки и обучения (да, это звучит весьма жутко).

Специалистами из Google была осуществлена проверка работоспособности алгоритма с помощью BLEU-метода (bilingual evaluation understudy), при котором машинный перевод сравнивается с работой переводчика. Для эксперимента была взята языковая пара испанский-английский. По итогам тестирования было признано, что нейросеть на данный момент уступает каскадной модели. Но мы, как переводчики, понимаем, что Translatotron – первая технология в своем роде, которая может переводить речь с одного языка на другой напрямую.