Звук.
Suno AI — а не спеть ли нам песню о любви? А не выпустить ли новый хит?
Что это за сервис Suno, чем он уникален и почему о нём стоит рассказать? Вкратце, Suno AI это самая продвинутая из всех на конец 2024 года коммерческая нейросеть по созданию музыки. Все мы знаем, что для того чтобы создавать красивые картинки уже третий год не требуется умение рисовать, достаточно только уметь описать что вы хотите увидеть, вот и в музыкальном творчестве с появлением Suno всё тоже стало очень демократично — создание качественной музыки и песен на базовом уровне не требует больше слуха или образования, нужно только желание и немного фантазии. Вот, например, оцените песню
Нейросеть Llama3 получила улучшенное понимание речи
Разработчики Llama3-s v0.2 поделились улучшениями, которые модель продемонстрировала в тестах понимания речи и способности «слушать». В llama3-s v0.1 начали внедрять акустические токены. В v0.2 реализовали слияние с семантическими токенами, которые обладают такими преимуществами, как простота, лучшее сжатие и последовательное извлечение признаков речи.
Какой метод генерации аудио лучший? Сравнение GAN, VAE и Diffusion
В прошлой статье я затронул тему генерации звука с помощью диффузионной модели. Но какие методы существуют вообще и какой из них сейчас наиболее перспективен? Сегодня мы рассмотрим долгий путь этого направления в машинном обучении. Послушаем результаты, посмотрим метрики и просто взглянем на новые технологии, применяемые в совершенно разных нейросетях для аудиосинтеза.
В МТИ создали компьютерную модель, которая умеет определять источник звука
Нейробиологи Массачусетского технологического института разработали компьютерную модель, которая может определять источники звуков. Модель включает несколько сверточных нейронных сетей и способна обнаружить происхождение звуков в реальных условиях подобно человеческому уху.
Бинарецепторные эффекты зрения как аналог бинауральных биений
Бинауральные биения – явление, которое хорошо изучено с практической точки зрения, но плохо объяснено теорией. Широко известен эффект их влияния на психическое состояние человека, который однако не подтвержден, поскольку проявляется нестабильно, что не мешает большому количеству народа испытывать их на себе с помощью mind-machines. Однако само по себе это явление кажется невероятно перспективным как с точки зрения его распространенности в Природе, так и относительно его технического применения в будущем, о чем и говорится в этой статье.Бинауральные биения
Повреждение мозга спасло его музыку
После того, как у гитариста Пэта Мартино удалили часть мозга, он смог вернуть себе музыку Восемь лет назад, когда нейрохирург Марчело Галарза увидел МРТ-снимки мозга джаз-гитариста Пэта Мартино, он был поражён. «Я не мог поверить, какую большую часть его левой височной доли удалили», — сказал он. Мартино перенёс операцию на мозге в 1980, когда ему удалили комок спутанных, неправильно выросших вен и артерий. В то время он был одним из самых почитаемых гитаристов в джазе. Однако мало кто знал, что Мартино страдал от эпилептических припадков, ужасных головных болей и депрессии. Его запирали в психиатрических лечебницах и подвергали ослабляющей здоровье электрошоковой терапии. Только в 2007 году Мартино сделал МРТ, и лишь совсем недавно нейробиологи опубликовали свой анализ этих изображений. Удивление Галарзы, а также учёных-медиков и музыкальных фанатов, было вызвано тем, что Мартино восстановился после операции, несмотря на то, что лишился значительной части мозга и памяти, однак сохранил навыки игры на гитаре. В 2014 в отчёте для журнала World Neurosurgery, Галарза из Университетского госпиталя в Мурсии, Испания, и его коллеги из Европы и США, писали: «Насколько мы знаем, этот случай является первым клиническим исследованием пациента, продемонстрировавшего полноценное выздоровление от серьёзной амнезии и восстановившего свой статус виртуоза».
Нейрофизиология музыкального восприятия: несколько слов о музыкальном «оргазме»
Нередко от меломанов приходится слышать о том, что они получили настоящий «оргазм» от какого-то альбома или живого выступления. В свете результатов некоторых нейробиологических исследований, проводившиеся в последние 2 десятилетия, подобные сравнения перестают казаться чересчур эмоциональными и гротескными. Погружение в эту тему навело меня на мысль о том, что лозунг «sex, drugs and rock`n`roll» — это не только три заповеди гедониста-шестидесятника, но ещё и 3 грани одного и того же физиологического процесса. Сегодня появляется немало публикаций, которые посвящены влиянию музыки на психику, но в подавляющем большинстве в них оцениваются психологические эффекты от прослушивания тех или иных жанров (произведений), или возможности использования музыки в психотерапевтических целях. Исследования же нейрофизиологических процессов, которые обуславливают подобное влияние музыки, обычно находятся в фокусе внимания научных изданий и небольшого круга специалистов. В этом посте я расскажу об одном из нейробиологических исследований аудиального восприятия, этапах восприятия музыкального произведения, и о том, какие именно процессы лежат в основе получения удовольствия от музыки. В качестве основы для этой статьи я использовал несколько публикаций журнала Since, а также небольшой личный багаж знаний по нейропсихологии.
