Китайская команда Qwen выпустила размышляющую модель QwQ-32B с открытой лицензией Apache 2.0. Несмотря на небольшой размер в 32B, модель по метрикам сопоставима с гигантской DeepSeek R1 671B. Она значительно обгоняет дистилляты, такие как DeepSeek-R1-LLama-70B и DeepSeek-R1-Qwen-32B.
Согласно проведенным экспериментам, QwQ-32B эффективно отвечает на русском языке и решает сложные вопросы, которые часто вызывают затруднения у нейросетей без рассуждений. Модель успешно справилась с задачами, которые требуют размышлений, что подтверждает её потенциал в различных областях, таких как математика и программирование.
Следует отметить, что QwQ-32B можно запустить на домашней машине с приличной скоростью, что делает её более доступной по сравнению с гигантскими моделями, такими как DeepSeek R1. Она уже доступна для тестирования в чат-боте Qwen и на сайте Hugging Face, что позволяет пользователям бесплатно оценить её возможности.
Модель прошла серию тестов, оценивших её способности в математике, программировании и решении сложных задач. Результаты показывают, что QwQ-32B уверенно конкурирует с топовыми нейросетями, такими как o1-mini и DeepSeek-R1. Она понимает огромный контекст, что позволяет загружать объемные документы, например, диссертации, и задавать по ним вопросы.
Одной из ключевых особенностей QwQ-32B является обучение с подкреплением, которое масштабировалось для повышения эффективности в математике и программировании. Модель учится на своих ошибках, что позволяет ей постоянно улучшать качество своих ответов. Также QwQ-32B использует агентные способности для адаптации рассуждений в зависимости от контекста.
Qwen планирует дальнейшее развитие методов обучения с подкреплением и интеграцию нейросетей с агентами для решения более сложных задач. На горизонте видится создание ещё более мощных моделей, способных справляться с комплексными задачами, что может существенно продвинуть развитие искусственного интеллекта.