Компании Stability AI и Arm представили компактную модель преобразования текста в аудио, названную Stable Audio Open Small. Эта модель предназначена для работы на смартфонах и способна генерировать аудиоклипы длиной до 11 секунд примерно за 7 секунд.
Stable Audio Open Small основана на технике Adversarial Relativistic-Contrastive (ARC). На графическом процессоре Nvidia H100 она может создавать стереоаудио с частотой 44 кГц всего за 75 миллисекунд, что достаточно для генерации звуков в реальном времени. В отличие от оригинальной версии Stable Audio Open с 1.1 миллиарда параметров, новая компактная модель использует 341 миллион параметров, что значительно упрощает её использование на мобильных устройствах.
Сокращение параметров и переработанная архитектура позволили снизить требования к памяти почти вдвое – с 6.5 ГБ до 3.6 ГБ. В ходе тестирования использовался смартфон Vivo X200 Pro с 12 ГБ оперативной памяти и чипом Mediatek Dimensity 9400. Система состоит из автоэнкодера для сжатия аудиоданных, модуля встраивания для интерпретации текстовых запросов и диффузионной модели для генерации конечного аудио.
Stability AI отмечает, что модель особенно хорошо справляется с генерацией звуковых эффектов и полевых записей, хотя она все еще испытывает трудности с музыкальными композициями и вокалом, лучше всего работая с запросами на английском языке. Модель была обучена на 472 000 аудиоклипах из базы данных Freesound, с фильтрацией данных для избежания проблем с авторскими правами.
Поскольку Stability AI и Arm впервые объявили о своем сотрудничестве в марте, вероятно, новое решение станет важным шагом в развитии технологий генерации аудио на мобильных устройствах. Модель доступна под открытой лицензией Stability AI Community, а код можно найти на GitHub. Коммерческое использование регулируется отдельными условиями, доступ к весам модели можно получить через Hugging Face.
Эта разработка открывает новые возможности для использования аудио в приложениях и играх на мобильных платформах, а также может повлиять на рынок аудиотехнологий, ускоряя внедрение инновационных решений в повседневную жизнь.