Stable Audio Open: генерация звука на мобильных устройствах без подключения к интернету
Stability AI и Arm улучшили модель Stable Audio Open, чтобы она могла работать на процессорах смартфонов. Теперь можно генерировать звук прямо на телефоне, без подключения к интернету.
Stable Audio Open [1], выпущенный летом 2024 года, генерирует до 47 секунд аудио из текстовых подсказок. Модель специализируется на коротких аудиозаписях, таких как барабанные ритмы, инструментальные риффы, эмбиентные звуки и записи Фоули. В отличие от коммерческой Stable Audio 2 [2], она не предназначена для создания полноценных песен, как сервисы Suno [3].
В первоначальной версии Stable Audio Open для создания звука на процессорах Arm требовалось 240 секунд. Благодаря оптимизации модели и программному стеку Arm время создания 11-секундного клипа на процессорах Armv9 сократилось до менее чем 8 секунд — в 30 раз быстрее.
Реализация использует библиотеки Arm’s KleidiAI [4] для обработки задач по генерации звука на процессорах устройств без подключения к интернету. В блоге Stability AI [5] не приводится подробная техническая информация, и пока не было опубликовано ни одной научной статьи. Оптимизация делает модель доступной для всех, у кого есть совместимое мобильное устройство на базе ARM.
Stability AI намерена перенести свои модели изображений, видео и 3D-моделирования на мобильные устройства с помощью партнёрства с Arm. Такое внимание [6] к мобильной разработке отличается от предыдущей стратегии компании, которая заключалась в частых выпусках моделей изображений Stable Diffusion. Лондонский стартап назначил нового генерального директора в июне 2024 года [7] на фоне финансовых трудностей и ухода сотрудников [8].
Источник [9]
Автор: mefdayy
Источник [10]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/12783
URLs in this post:
[1] Stable Audio Open: https://the-decoder.com/stable-audio-open-is-like-the-stable-diffusion-of-sound-design-and-its-completely-open-source/
[2] Stable Audio 2: https://the-decoder.com/stability-ai-unveils-stable-audio-2-for-ai-generated-music-and-audio-effects/
[3] Suno: https://the-decoder.com/suno-upgrades-its-ai-music-generator-to-version-4-with-new-features-and-improved-capabilities/
[4] библиотеки Arm’s KleidiAI: https://www.arm.com/markets/artificial-intelligence/software/kleidi
[5] блоге Stability AI: https://stability.ai/news/stability-ai-and-arm-bring-on-device-generative-audio-to-smartphones
[6] внимание: http://www.braintools.ru/article/7595
[7] назначил нового генерального директора в июне 2024 года: https://the-decoder.com/stability-ai-gets-new-ceo-and-funding/
[8] финансовых трудностей и ухода сотрудников: https://the-decoder.com/stability-ai-reportedly-runs-out-of-money-and-in-negotiations-to-sell/
[9] Источник: https://the-decoder.com/stability-ai-and-arm-bring-offline-on-device-generative-audio-to-mobile-devices/
[10] Источник: https://habr.com/ru/companies/bothub/news/887738/?utm_source=habrahabr&utm_medium=rss&utm_campaign=887738
Нажмите здесь для печати.