Провайдер облачных и ИИ-технологий Cloud.ru представил Evolution ML Inference – первый в России готовый облачный сервис для инференса (вывода) больших языковых моделей (LLM) с возможностью разделения графических процессоров (GPU) и гибким подходом к утилизации вычислительных ресурсов. Сервис уже доступен для пользователей в режиме General availability и войдет в состав Cloud.ru Evolution AI Factory – готового набора инструментов для работы с ИИ в облаке.
Evolution ML Inference подходит для компаний и пользователей, которые разрабатывают ИИ- и МО-решения и хотят быстро и с минимальными затратами запустить собственную модель машинного обучения. Это полностью управляемый сервис – пользователь настраивает только конфигурацию, модель и масштабирование, в то время как Cloud.ru предоставляет доступ к мощным графическим процессорам, а также осуществляет полное администрирование инфраструктуры.
Ключевые преимущества сервиса включают в себя технологию Shared GPU, которая позволяет разделять GPU-ресурсы, что повышает утилизацию мощностей в ИИ-проектах от 15 до 45%. Кроме того, управление сервисом отличается простотой и гибкостью: пользователи могут запускать модели без необходимости сборки образа или использовать собственные образы с нужным окружением. Сервис позволяет одновременно запускать несколько моделей на одной видеокарте, что оптимизирует распределенные системы с разнородной вычислительной инфраструктурой.
По словам генерального директора Cloud.ru Евгения Колбина, около 70% пользователей загружают GPU-ресурсы менее чем на 55%. Он отметил, что для экономии ресурсов и оптимизации затрат на технологии ИИ необходима производительная инфраструктура с гибким масштабированием. Запуск сервиса Evolution ML Inference упрощает доступ к ИИ и делает использование ИИ-инструментов более удобным. Это первый управляемый облачный сервис для инференса LLM, который, по мнению Колбина, должен стать важным шагом в развитии рынка ИИ в России.