Яндекс Браузер запустил новую версию перевода видео, в которой нейросети передают оригинальные голоса и интонации участников роликов. Теперь при просмотре переведённых с английского видео создаётся ощущение, будто герои владеют русским языком.
Браузер использует новую нейросетевую модель, которая анализирует оригинальную речь, выделяет тембр, ритм и интонации, а затем воспроизводит их в переводе. Для обучения технологии применили сотни тысяч аудиопримеров. В результате закадровая речь звучит более живо и естественно, а сам перевод стал точнее передавать смысл и стилистику оригинала.
Особенно это заметно в видео с живыми выступлениями, скетчами или речами известных людей, где важны эмоции и особенности речи. Новая технология основывается на модели YandexGPT, признанной лидером в международном бенчмарке DiBiMT по качеству перевода с английского на русский язык.
Разницу можно оценить, например, на этом видео. Перевод нового поколения уже доступен для пользователей Яндекс Браузера при просмотре роликов на YouTube, в Яндекс Поиске, на VK Видео, Дзене и Rutube. Для активации функции нужно быть авторизованным через Яндекс ID и выбрать перевод в панели просмотра видео.
Яндекс Браузер стал использовать нейросетевую модель, которая помогает сохранять оригинальные голоса и интонации героев видео при переводе. Пока такая фишка работает только с англоязычной речью. Нейросеть выделяет тембр, ритм, интонации и учитывает их при переводе. Это может быть важно, к примеру, в авторских подкастах или записях выступлений известных людей.
Перевод нового поколения уже доступен в Браузере во время просмотра роликов, опубликованных на YouTube, в поиске Яндекса, на VK Видео, Дзене и Rutube. Его могут включить все пользователи, авторизовавшиеся в Браузере через Яндекс ID. Перевод можно выбрать в панели, которая появляется при просмотре видео в Браузере. Кроме того, браузер стал точнее переводить смысл сказанного в видео. Теперь он учитывает стилистические особенности речи, что делает формулировки более естественными.