Яндекс представил YandexGPT 5 Lite Pretrain — языковую модель (LLM) на 8 миллиардов параметров, обеспечивающую поддержку контекста до 32 тысяч токенов. Эта новая версия модели демонстрирует превосходство над зарубежными аналогами по качеству ответов, что делает её полезной для разработчиков и бизнеса, способных адаптировать её под свои нужды.
Обучение модели прошло в два этапа. На первом этапе использовались русскоязычные и англоязычные тексты, научные коды и данные объемом 15 триллионов токенов. На втором этапе Яндекс применил 320 миллиардов высококачественных токенов, включая образовательные материалы, что обогатило знания модели. Таким образом, YandexGPT 5 Lite Pretrain уже обладает обширными сведениями о мире и высоким уровнем понимания языка.
Сравнение с предыдущими моделями показывает, что новая версия значительно лучше справляется с математическими задачами и программированием. Например, по сравнению с YandexGPT 4 Lite Pretrain модель демонстрирует заметный прогресс в этих областях. В сравнении с зарубежными аналогами, такими как LLaMa3.1-8B и Qwen-2.5-7B-base, YandexGPT 5 Lite Pretrain лидирует во многих тестах.
Это не первая языковая модель, которую Яндекс вывел в открытый доступ. Предыдущая версия YaLM-100B была представлена в 2022 году. Сегодня компания по-прежнему занимает лидирующие позиции в области опенсорс-решений в машинном обучении. Доступные для разработчиков инструменты, такие как библиотека YaFSDP, ускоряют обучение моделей и помогают снизить их вычислительные требования.
YandexGPT 5 Lite Pretrain является частью нового поколения нейросетей компании и доступна бесплатно на платформе HuggingFace. В то же время YandexGPT 5 Pro готова удовлетворить потребности бизнеса и доступна через облачный сервис Yandex Cloud, а также в чате с голосовым помощником Алисой. Для обучения Pro-версии использовались более сложные примеры и методы, которые повышают стабильность и эффективность модели.
Стратегия Яндекса сосредоточена на интеграции новых моделей в существующие продукты. Обновлённый голосовой помощник Алиса теперь основан на YandexGPT 5 Pro, который улучшает качество взаимодействия с пользователями, позволяя вести разговоры на русском и английском языках. Наличие двух версий модели — Pro и Lite — расширяет её применение: от научных исследований до коммерческих задач, таких как автоматизация взаимодействия с клиентами в бизнесе.
С точки зрения перспектив, YandexGPT 5 Lite с открытым кодом позволит большому количеству разработчиков адаптировать модель под свои задачи, что в свою очередь может привести к новаторским решениям в различных областях применения ИИ. Яндекс также планирует дальнейшие обновления, в том числе добавление функций для облегчения рассуждений, что будет способствовать положительным изменениям в области машинного обучения.