Исследовательская группа Meta по изучению AI продемонстрировала прорыв в расшифровке мозговой активности, успешно восстановив напечатанные предложения по записям мозговой активности.
В сотрудничестве с учёными из Баскского центра когнитивных исследований мозга и языка в Испании Лаборатория фундаментальных исследований искусственного интеллекта Meta (FAIR) опубликовала два исследования, которые расширяют наше понимание того, как человеческий мозг обрабатывает речь. Исследование основано на предыдущей работе французского нейробиолога Жан-Реми Кинга, которая была посвящена расшифровке визуального восприятия и речи на основе сигналов мозга.
В своём первом исследовании учёные использовали MEG (магнитоэнцефалографию) и ЭЭГ (электроэнцефалографию) для регистрации активности мозга 35 участников, когда они печатали предложения. Затем система искусственного интеллекта научилась восстанавливать то, что они печатали, основываясь исключительно на этих сигналах мозга.
Система достигла 80-процентной точности на уровне символов, часто восстанавливая целые предложения только по активности мозга. Несмотря на впечатляющие результаты, у этой технологии всё же есть ограничения: МЭГ требует, чтобы участники оставались неподвижными в экранированной комнате, а для подтверждения клинической пользы необходимы дополнительные исследования с участием пациентов с травмами головного мозга.
Во втором исследовании изучалось, как наш мозг преобразует мысли в сложные последовательности движений. Поскольку движения рта и языка обычно мешают измерению мозговых сигналов, исследователи проанализировали записи ЭЭГ, когда участники печатали текст. Используя 1000 записей в секунду, они отслеживали точный момент, когда мысли становятся словами, слогами и буквами.
Результаты показывают, что мозг начинает с абстрактных представлений о значении, а затем постепенно преобразует их в конкретные движения пальцев. Специализированный «динамический нейронный код» позволяет мозгу одновременно и согласованно представлять несколько слов и действий.
Миллионы людей ежегодно сталкиваются с трудностями в общении из-за повреждений головного мозга. Потенциальные решения, такие как нейропротезы в сочетании с декодерами на основе AI, сталкиваются с проблемами, поскольку существующие неинвазивные методы ограничены зашумлёнными сигналами. Meta отмечает, что расшифровка нейронного кода языка является основной задачей для AI и нейробиологии, хотя понимание структуры языка в мозге может способствовать развитию AI.
Это исследование уже находит практическое применение в здравоохранении. Французская компания BrightHeart использует модель Meta с открытым исходным кодом DINOv2 для выявления врождённых пороков сердца на ультразвуковых изображениях. Аналогичным образом, американская компания Virgo использует эту технологию для оценки эндоскопических видео.
*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации
Автор: mefdayy
