«Яндекс Переводчик» с нейросетью YandexGPT стал лидером по качеству перевода текста с английского на русский язык по итогам международного бенчмарка DiBiMT. В этой категории российский сервис обошел Google Translate и модель GPT-4, которая используется в ChatGPT.
Помимо «Яндекс Переводчика», в пятерку лидеров вошли языковая модель Gemma 2 от Google, GPT-4 и GPT-3.5-turbo от OpenAI, а также онлайн-переводчик DeepL. Google Translate занял седьмую строчку рейтинга.
С переменным успехом. Сервис «Яндекса» стал лидером по переводу с английского на русский второй год подряд. При этом в прошлом году он также занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки. В этот раз в этих категориях «Яндекс Переводчик» даже не вошел в рейтинг.
«Рынок [онлайн-перевода] стремительно меняется. Развитие искусственного интеллекта открыло перед игроками новые возможности, и многие крупные компании внедрили в свои продукты большие языковые модели», — пояснил Петр Ермаков, который отвечает за бренд машинного обучения в «Яндексе». По его словам, лидерство по качеству перевода на русский компания сохранила благодаря интеграции YandexGPT.
По данным компании, внедрение большой языковой модели «позволило за год повысить точность перевода в два раза». «Так как большая языковая модель работает со всем текстом сразу, перевод слов, которые имеют несколько значений, получается более точным, а предложения — лучше согласованы между собой. Кроме того, YandexGPT понимает стиль, в котором написан текст», — пояснили RB.RU в «Яндексе».
Бенчмарк DiBiMT измеряет процент ошибок в переводе, то есть неправильную интерпретацию смысла и значения слов. Всего в тестировании приняли участие 22 системы перевода. В основе исследования лежит база данных из нескольких тысяч предложений на английском языке с омонимами — словами, которые пишутся одинаково, но имеют разное значение. Модели ИИ и сервисы перевели предложения, а алгоритмы бенчмарка и профессиональные переводчики определили долю корректно переведенных слов.
Сгенерировано нейросетью Dall-E. В компании уточнили: внедрение в сервис большой языковой модели позволило за год повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений и обогнать таких лидеров, как Google Translate, ChatGPT и DeepL. Рейтинг опубликовали ведущие мировые центры изучения языка в машинном обучении — итальянские институты Sapienza и SSML Carlo Bo.
Бенчмарк DiBiMT — это эталонный тест для измерения процента ошибок (то есть неверного определения смысла или значения слова в контексте) в переводе. В тестировании, помимо «Яндекс Переводчика» с YandexGPT, приняли участие 22 системы перевода. Так, большая языковая модель Яндекса обошла, например, GPT-4, Gemma 2 9b, Llama-3 8b и другие нейросети. Иллюстрация: Яндекс / DiBiMT. Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — одинаковыми по написанию словами, имеющими разное значение. Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, что обеспечило высокое качество замеров. На основе этих показателей и был сформирован публичный рейтинг.