- BrainTools - https://www.braintools.ru -

Stable Audio Open: генерация звука на мобильных устройствах без подключения к интернету

Stability AI и Arm улучшили модель Stable Audio Open, чтобы она могла работать на процессорах смартфонов. Теперь можно генерировать звук прямо на телефоне, без подключения к интернету.

Stable Audio Open: генерация звука на мобильных устройствах без подключения к интернету - 1

Stable Audio Open [1], выпущенный летом 2024 года, генерирует до 47 секунд аудио из текстовых подсказок. Модель специализируется на коротких аудиозаписях, таких как барабанные ритмы, инструментальные риффы, эмбиентные звуки и записи Фоули. В отличие от коммерческой Stable Audio 2 [2], она не предназначена для создания полноценных песен, как сервисы Suno [3].

В первоначальной версии Stable Audio Open для создания звука на процессорах Arm требовалось 240 секунд. Благодаря оптимизации модели и программному стеку Arm время создания 11-секундного клипа на процессорах Armv9 сократилось до менее чем 8 секунд — в 30 раз быстрее.

Реализация использует библиотеки Arm’s KleidiAI [4] для обработки задач по генерации звука на процессорах устройств без подключения к интернету. В блоге Stability AI [5] не приводится подробная техническая информация, и пока не было опубликовано ни одной научной статьи. Оптимизация делает модель доступной для всех, у кого есть совместимое мобильное устройство на базе ARM.

Stability AI намерена перенести свои модели изображений, видео и 3D-моделирования на мобильные устройства с помощью партнёрства с Arm. Такое внимание [6] к мобильной разработке отличается от предыдущей стратегии компании, которая заключалась в частых выпусках моделей изображений Stable Diffusion. Лондонский стартап назначил нового генерального директора в июне 2024 года [7] на фоне финансовых трудностей и ухода сотрудников [8].

Источник [9]

Автор: mefdayy

Источник [10]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/12783

URLs in this post:

[1] Stable Audio Open: https://the-decoder.com/stable-audio-open-is-like-the-stable-diffusion-of-sound-design-and-its-completely-open-source/

[2] Stable Audio 2: https://the-decoder.com/stability-ai-unveils-stable-audio-2-for-ai-generated-music-and-audio-effects/

[3] Suno: https://the-decoder.com/suno-upgrades-its-ai-music-generator-to-version-4-with-new-features-and-improved-capabilities/

[4] библиотеки Arm’s KleidiAI: https://www.arm.com/markets/artificial-intelligence/software/kleidi

[5] блоге Stability AI: https://stability.ai/news/stability-ai-and-arm-bring-on-device-generative-audio-to-smartphones

[6] внимание: http://www.braintools.ru/article/7595

[7] назначил нового генерального директора в июне 2024 года: https://the-decoder.com/stability-ai-gets-new-ceo-and-funding/

[8] финансовых трудностей и ухода сотрудников: https://the-decoder.com/stability-ai-reportedly-runs-out-of-money-and-in-negotiations-to-sell/

[9] Источник: https://the-decoder.com/stability-ai-and-arm-bring-offline-on-device-generative-audio-to-mobile-devices/

[10] Источник: https://habr.com/ru/companies/bothub/news/887738/?utm_source=habrahabr&utm_medium=rss&utm_campaign=887738

www.BrainTools.ru

Рейтинг@Mail.ru
Rambler's Top100