Российская компания «Яндекс» представила новую технологию автоматического закадрового перевода прямых трансляций на YouTube. Бета-версия доступна в последней версии «Яндекс.Браузера» и может переводить некоторые YouTube-каналы.
В компании отмечают, что закадровый перевод потокового видео является сложной инженерной задачей и над ее реализацией работает сразу несколько нейросетей. Одна распознает аудио и делает из него текст, другая определяет пол спикера, а третья расставляет знаки препинания и выделяет смысловые фрагменты. Еще одна нейросеть на основе этих данных синтезирует закадровый голос на русском языке.
Вместе с закадровым переводом можно будет смотреть презентации новинок от Apple и Google, космические запуски NASA, а также прямые трансляции игровых новинок от IGN и церемонию награждения The Game Awards. «Яндекс» запустил возможность закадрового перевода для обычных видеороликов на YouTube в сентябре 2021 года.