Недавно OpenAI представила свою первую рассуждающую модель искусственного интеллекта (ИИ) o1, и вскоре после её выпуска пользователи начали замечать необычное поведение модели. O1 иногда начинает думать на китайском, персидском или других языках, даже если вопрос был задан на английском. Например, при задаче “Сколько букв ‘Р’ в слове ‘клубника’?” модель может сначала выполнить часть рассуждений на китайском языке, а затем предоставить ответ на английском.
Эксперты и пользователи интернета начали активно обсуждать это явление. Клемент Деланж, генеральный директор Hugging Face, и Тед Сяо, исследователь из Google DeepMind, выдвинули гипотезу о том, что это может быть связано с тренировочными данными, на которых обучалась модель o1. Они отметили, что многие компании, включая OpenAI, часто используют китайские сервисы для разметки данных, что могло привести к этому лингвистическому влиянию. Однако OpenAI не подтверждает эти предположения и не дает разъяснений по поводу поведения модели.
Некоторые ученые, включая Мэтью Гуздиала из Университета Альберты, уверены, что такое переключение языков не связано с данными, а может быть следствием того, как o1 обрабатывает текст. По его словам, модель не различает языки; для нее текст — это просто набор токенов. Таким образом, языки могут использоваться в зависимости от того, какой из них наиболее эффективен для решения конкретной задачи.
Эта ситуация открывает интересные обсуждения относительно того, как ИИ воспринимает языки и какие факторы влияют на его поведение. Некоторые эксперты считают, что, по мере сложения лексического древа, модель может выбирать язык, который лучше всего соответствует осуществляемым вычислениям. К примеру, Тичжэнь Ван изобразил, как может быть удобно решать математические задачи на китайском, где каждая цифра является одним слогом.
Хотя многие исследователи и эксперты уже выдвинули несколько теорий, точная причина, почему o1 начинает рассуждать на различных языках, остается неясной. Лука Солдаини, сотрудник Allen Institute for AI, подчеркивает, что из-за недостаточной прозрачности алгоритмов ИИ трудно определить, как эти системы принимают решения и к каким данным они обращаются. Таким образом, использование o1 и её загадочные языковые переключения открывают новые исследования в области понимания моделей ИИ и их взаимодействия с данными.
На данный момент OpenAI не делала официальных комментариев по поводу странностей, связанных с моделью o1, и пользовательские гипотезы продолжают множиться. Специалисты отмечают, что важно продолжать изучение этого уникального явления, чтобы лучше понимать, как ИИ взаимодействует с языком и каким образом он обрабатывает информацию.