Мозг является одной из самых сложных и малоизученных систем, с которой не может сравниться ни один компьютер. В рамках изучения работы мозга его сложность, простите за каламбур, усложняет этот процесс. Попытки расшифровать алгоритмы интеллекта мозга сталкиваются с рядом проблем ввиду его сложных и обширных нейронных цепей. Ученые из Стэнфордского университета (США) разработали ИИ-модель, ставшую цифровой копией визуальной коры мозга мыши. Как это им удалось, и насколько точна и сложна цифровая копия? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
Глубокие искусственные нейронные сети (ANN от artificial neural network) произвели революцию в нейронауке, моделируя нейронную активность на основе сенсорного ввода, поведения и внутренних состояний. Например, модели, управляемые задачами, предоставили ценную информацию о зрительной коре, поскольку их скрытые представления часто совпадают с биологической нейронной активностью при обучении таким задачам, как классификация объектов или предиктивное кодирование. С ростом доступа к крупномасштабным наборам данных нейронауки модели, управляемые данными, превосходят подходы, управляемые задачами, позволяя проводить эксперименты in silico, которые систематически анализируют нейронные представления и вычислительные принципы. В исследовании зрения такие подходы помогают характеризовать нейронную селективность и настраивать функции в естественных условиях, генерируя гипотезы для экспериментов с замкнутым циклом. Эта стратегия in silico–in vivo решает ключевые проблемы нейронауки, включая многомерные входы, нелинейную обработку и экспериментальные ограничения.
Однако основной проблемой в моделировании нейронных сетей является обобщение за пределами исходного распределения обучения. Модели, обученные на видео, хорошо предсказывают ответы в этой области, но испытывают трудности с синтетическими или параметрическими стимулами. Учитывая историческую важность параметрических стимулов в исследовании зрения, крайне важно разрабатывать функциональные модели, которые обобщают между доменами стимулов. Недавние достижения в области искусственного интеллекта, в частности, базовые модели, обученные на огромных наборах данных, предлагают решение. Эти модели захватывают надежные, переносимые представления, которые обобщаются для новых задач, как это видно в языковых моделях, обученных на разнообразных текстовых корпусах.
Вдохновленные этими прорывами, ученые разработали базовую модель зрительной коры мыши, обученную на обширных данных для прогнозирования нейронной активности от динамических визуальных стимулов и поведения. Ученые записали ответы на видео приблизительно от 135000 нейронов в нескольких областях зрительной коры у 14 мышей. С подмножеством этих данных ученые обучили глубокую нейронную сеть на записях от восьми мышей, создав «базовое ядро», которое захватывало общие скрытые представления и предсказывало нейронные реакции между мышами и областями коры. Модели, использующие это базовое ядро, могли быть быстро адаптированы к новым мышам с минимальными данными, превосходя индивидуальные модели, обученные от начала до конца. Эти модели преуспели в прогнозировании нейронных реакций как на видео в домене, так и на стимулы вне домена, включая движущиеся точки, мигающие точки, пятна Габора, когерентный шум и статические изображения.
Чтобы оценить более широкую полезность разработанной модели, ученые оценили ее способность предсказывать анатомические особенности. В наборе данных Machine Intelligence from Cortical Networks (MICrONS), который содержит функциональные записи и наномасштабную анатомию более 70000 нейронов, модель точно классифицировала анатомически определенные типы возбуждающих нейронов. Кроме того, в других исследованиях MICrONS разработанная модель успешно предсказала синаптическую связность и дендритную морфологию.
Результаты исследования
Изображение №1
Для моделирования динамических нейронных реакций зрительной коры мыши ученые разработали ANN, состоящую из четырех модулей: перспектива, модуляция, ядро и считывание (схема выше). Модульная конструкция позволила ANN приспособиться к разнообразным задачам и входным данным. Например, движения глаз и различное положение головы мыши относительно монитора могут привести к различным перспективам одного и того же стимула, несмотря на все усилия по ограничению экспериментальной изменчивости. Чтобы учесть это, модуль перспективы ANN использует данные трассировки лучей и отслеживания глаз, чтобы вывести перспективу мыши из представленного стимула на мониторе. Для учета поведенческих факторов, которые модулируют активность зрительной коры, модуль модуляции преобразует поведенческие входные данные (локомоцию и расширение зрачка) для создания динамических представлений поведенческого и внимательного состояния мыши. Модули перспективы и модуляции предоставляют визуальные и поведенческие входные данные, соответственно, основному модулю ANN.
Ядро, состоящее из компонентов прямой связи (3D-сверточные слои) и рекуррентных (долговременная кратковременная память), содержит большую часть моделирующей способности ANN и создает нелинейные представления зрения, которые модулируются поведением. Эти представления отображаются на активность отдельных нейронов модулем считывания, который выполняет линейную комбинацию признаков, сгенерированных ядром в одном конкретном месте, рецептивном поле нейрона. Все четыре модуля ANN (перспектива, модуляция, ядро и считывание) были обучены сквозным образом для прогнозирования временных рядов нейронных реакций на видео.
Во-первых, ученые оценили точность прогнозирования архитектуры модели ANN при обучении на индивидуальных сеансах записи продолжительностью около 1 часа. Точность прогнозирования измерялась по корреляции между записанными и предсказанными ответами на новый набор стимулов, которые не были включены в обучение модели. Для учета шума in vivo корреляция была нормализована по предполагаемой верхней границе производительности, которая может быть достигнута идеальной моделью. Используя этот нормализованный коэффициент корреляции (CCnorm) в качестве метрики точности прогнозирования, ученые сравнили исследуемую модель с предыдущей лучшей динамической моделью зрительной коры мыши.
Изображение №2
Обученная и протестированная на тех же данных из того исследования (динамические реакции первичной зрительной коры (V1) на видео), новая модель показала увеличение точности прогнозирования на 25–46% на отложенных тестовых данных в трех сеансах записи, использованных в предыдущем исследовании (2a). Этот уровень увеличения производительности является существенным для предсказательных моделей зрительной коры. Ученые также оценили точность прогнозирования модели на недавно собранных данных, содержащих несколько зрительных областей (2b). Примечательно, что производительность новой модели для высших зрительных областей (латеромедиальной (LM), ростролатеральной (RL) и переднелатеральной (AL)) была аналогична V1 (2c), несмотря на возросшую сложность нейронной настройки на более сложные признаки, демонстрируемые высшими зрительными областями.
Затем ученые провели исследования поражений, чтобы определить влияние отдельных компонентов модели на точность прогнозирования. Удаление любого из двух поведенческих модулей привело к скромному, но значительному снижению точности прогнозирования: снижение на 2.3% для перспективы и на 2.8% для модуляции. Для ядра было обнаружено, что использование 3D-сверток в компоненте прямой связи значительно улучшило производительность по сравнению с 2D-свертками, хотя разница была небольшой и составляла 0.88%.
Ученые также оценили целевую функцию, используемую для обучения, и обнаружили, что потеря правдоподобия отрицательного логарифма Пуассона значительно превзошла потерю среднеквадратичной ошибки с разницей в производительности 9.6%. Подводя итог, можно сказать, что новая модель ANN устанавливает новые стандарты для прогнозирования динамических нейронных реакций зрительной коры, при этом отдельные компоненты вносят скромные, но значительные улучшения. Примечательно, что основным фактором повышения производительности является гораздо больший набор данных, используемый для обучения (2b), что согласуется с законами масштабирования и наблюдением, что производительность ANN в целом улучшается с увеличением объема данных.
Изображение №3
Замечательная производительность базовых моделей в других областях, например, естественном языке и генерации изображений, обусловлена их огромным количеством обучающих данных. Однако сбор больших объемов нейронных данных от отдельных нейронов и животных представляет собой проблему. Отдельные сеансы записи ограничены по продолжительности экспериментальными факторами, такими как внимательность и стабильность записывающего устройства. Чтобы преодолеть это ограничение, ученые объединили данные из нескольких сеансов записи, в результате чего в общей сложности было получено более 900 минут видеоответов от 8 мышей, 6 зрительных областей (V1, LM, AL, RL, переднемедиальная (AM) и заднемедиальная (PM)) и около 66000 нейронов. Эти данные использовались для обучения одного общего ядра ANN (3a) с целью захвата общих представлений зрения, которые лежат в основе динамического нейронного ответа зрительной коры для репрезентативного набора нейронов и группы мышей. Затем это представление можно было использовать для подгонки моделей новых мышей с целью улучшения их производительности с ограниченными данными. В данном труде ученые называют репрезентативную группу из восьми мышей «базовой когортой», обученный компонент ANN — «базовым ядром», а ANN, полученные из базового ядра, — «базовыми моделями».
Чтобы оценить представление зрительной коры, захваченное базовым ядром, ученые заморозили его параметры и перенесли его в ANN с новыми компонентами перспективы, модуляции и считывания, подобранными для новых мышей (3a). Каждой новой мыши показывали набор стимулов, предназначенных либо для обучения модели, либо для тестирования. Обучающие стимулы состояли из видео, и были использованы разные их части, охватывающие от 4 до 76 минут, для подгонки компонентов ANN к новым мышам. Этот подход был направлен на изучение взаимосвязи между производительностью моделей и объемом обучающих данных для каждой новой мыши.
Тестовые стимулы включали видео, которые не были частью обучающего набора (3b′), новые области стимулов, такие как статические изображения (3c′), и четыре типа параметрических стимулов (3d′–3g′), включающие дрейфующие фильтры Габора, мигающие гауссовы точки, направленный розовый шум и кинематограммы случайных точек. Чтобы проверить роль ядра основы в производительности прогнозирования, ученые обучили набор контрольных моделей, которые отличались от моделей основы только компонентом ядра. Для этих контролей (отдельных моделей) все четыре компонента — ядро, перспектива, модуляция и считывание — обучались сквозным образом с использованием данных обучения из одного сеанса записи. Для моделей основы данные обучения от новых мышей использовались только для подгонки компонентов перспективы, модуляции и считывания, а ядро обучалось на когорте основы, как описано выше, и было заморожено (3a).
При тестировании на видео фундаментальные модели превзошли индивидуальные модели и потребовали меньше данных для обучения от новых мышей для достижения высокого уровня точности прогнозирования (3b). Например, индивидуальным моделям потребовалось более 60 минут данных для обучения, чтобы превзойти медианное значение CCnorm 0.65 для всех мышей, тогда как фундаментальным моделям потребовалось менее 30 минут (3b). Этот прирост производительности наблюдался во всех протестированных доменах стимулов, включая те, которые находились в новых доменах стимулов (3c′–3g′), то есть вне распределения из домена обучения видео (3b′). Примечательно, что никакие стимулы из доменов вне распределения не использовались для обучения какого-либо компонента моделей, включая ядро. Тем не менее фундаментальные модели были более точными в прогнозировании ответов на новые домены стимулов и потребовали существенно меньше данных для обучения от новых мышей (3c–3g). Например, при прогнозировании дрейфующих фильтров Габора базовые модели смогли достичь производительности медианного CCnorm более 0.55, используя всего 16 минут данных видео. Напротив, индивидуальным моделям требовалось более часа данных обучения, чтобы достичь того же уровня производительности (3d). Это подчеркивает существенную разницу в эффективности данных этих моделей, то есть в объеме данных обучения (сложности выборки), требуемых от новых субъектов для точного соответствия их нейронным реакциям. Таким образом, обучение динамического ядра фундамента на данных, объединенных из нескольких слоев коры, областей и мышей, создает надежное и переносимое представление зрительной коры, которое обобщается на новых мышей и улучшает производительность модели для видео и для новых доменов стимулов.
При объединении функциональных исследований мозга с другими модальностями, такими как анатомия, обычно имеется ограниченное количество времени, доступного для записи in vivo, прежде чем будет выполнен деструктивный гистологический анализ. В то время как традиционно это ограничивало бы количество функциональных исследований, которые можно выполнить in vivo, прогностические модели позволяют выполнять по существу неограниченное количество сканирований in silico, даже после разрушения ткани. Чтобы обеспечить это для проекта MICrONS, были собраны ответы на видео с целью обучения модели. Из-за сложности завершения всех 14 сканирований у одной и той же мыши за как можно более короткий период времени объем данных для обучения, собранных в каждом эксперименте (в среднем 42 минуты), был меньше, чем в других сеансах записи. С доступным количеством данных отдельные модели — со всеми компонентами, обученными на одном эксперименте — достигли медианного значения CCnorm 0.48–0.65 при тестировании на отложенном наборе видео. Применяя парадигму моделирования фундамента — перенося ядро фундамента и подгоняя только компоненты перспективы, модуляции и считывания в одном эксперименте — медиана CCnorm увеличилась до 0.58–0.76. Это подчеркивает преимущество подхода моделирования фундамента, когда для обучения доступно ограниченное количество данных.
Изображение №4
Используя ядро фундамента и трансферное обучение, ученые смогли создать точные модели фундамента для отдельных мышей (изображение №3). Эти модели позволяют проводить практически неограниченные эксперименты in silico для изучения представлений, проверки теорий и выдвижения новых гипотез, которые можно проверить in vivo. Затем ученые оценили точность, с которой классические свойства настройки зрительной коры могут быть воспроизведены на уровне отдельных нейронов в базовой модели. Ученые представили мышам — не входящим в базовую когорту — видеостимулы для обучения их ANN аналогов (4a). Кроме того, ученые представили параметрические стимулы (4b′, 4c′) для измерения ориентации, направления и пространственной настройки записанных нейронов. Затем ученые представили те же параметрические стимулы соответствующим нейронам in silico и измерили их свойства для сравнения (4b, 4c). Это было сделано для 3 мышей и приблизительно 30000 нейронов из 4 зрительных зон (V1, LM, AL и RL).
Для измерения ориентации и настройки направления ученые представили направленный розовый шум (4b′), который кодировал когерентное движение разных направлений (0–360°) и ориентаций (0–180°). Сначала ученые вычислили силу ориентации и настройки направления с помощью индексов селективности для ориентации (OSI) и направления (DSI). Было высокое соответствие между оценками in vivo и in silico как для OSI (4d), так и для DSI (4f), что подтвердило оценки базовой модели силы настройки для ориентации и направления. Затем ученые оценили предпочтительные углы ориентации и направления нейронов, подгоняя направленную параметрическую модель к ответам. Для сильно настроенных нейронов оценки in vivo и in silico предпочтительных углов ориентации и направления были близко согласованы (4e, 4g). Например, для нейронов с сильной ориентационной настройкой и значением OSI in silico более 0.5 (11% нейронов) медианная разница между оценками предпочтительной ориентации in vivo и in silico составила 4°, а при более низком пороге OSI более 0.3 (43% нейронов) медианная разница составила 7° (4e).
Для измерения пространственной настройки ученые предъявляли мигающие гауссовы точки (4c′) нейронам, описанным выше. Было вычислено среднее значение стимула, вызванное спайком (STA), которое использовалось для оценки:
- силы пространственной настройки для гауссовых точек (неравномерности STA) с помощью индекса пространственной селективности (SSI);
- предпочтительного местоположения (пик STA) с помощью подгонки STA методом наименьших квадратов к пространственной параметрической модели (двумерное гауссово распределение).
Хотя использование стимула гауссовыми точками не вызывало сильной SSI для большинства нейронов, для тех нейронов, которые были сильно настроены in silico, наблюдалось близкое соответствие между in vivo и in silico оценками силы пространственной настройки, измеренными с помощью SSI (4h). Например, для сильно настроенных нейронов с SSI in silico более 8 медианное расстояние между оценками предпочтительного местоположения in vivo и in silico составило 0.02 ширины монитора (4i), что приблизительно равно 2° в визуальном пространстве.
В совокупности эти результаты демонстрируют точность оценки параметров настройки для классических функциональных свойств из исследуемой базовой модели без предварительного обучения параметрическим стимулам. Поэтому вместо того, чтобы представлять параметрические стимулы in vivo, параметрическую настройку можно выполнить in silico с точной и проверенной базовой моделью, освобождая ценное экспериментальное время in vivo для других целей.
Изображение №5
Функция неокортекса механистически возникает из его структуры цепи. Проект MICrONS, знаменательный набор данных в нейронауке, обеспечивает беспрецедентный масштаб и разрешение, объединяя функциональные записи в миллиметровом масштабе с анатомической структурой с нанометровым разрешением в нескольких зрительных кортикальных областях одной мыши. У мыши MICrONS ответы более 70000 возбуждающих нейронов на видео измерялись в 14 последовательных сканированиях, охватывающих объем 1 мм3, охватывающий зрительные области V1, LM, AL и RL. Этот объем впоследствии подвергался последовательной электронной микроскопии и плотной морфологической реконструкции (5b), что привело к получению подробных структур приблизительно 60000 возбуждающих нейронов и 500 миллионов синапсов, что представляет собой крупнейшее комплексное исследование структуры и функции неокортекса на сегодняшний день.
Ученые использовали парадигму моделирования фундамента для набора данных MICrONS для моделирования функции возбуждающих нейронов в объеме 1 мм3. Модуль считывания модели отображает выход ядра фундамента на индивидуальные нейронные ответы. Параметры считывания каждого нейрона состоят из двух компонентов: позиции считывания и весов признаков считывания (5a). Ученые обучили параметры считывания для всех возбуждающих нейронов, записанных в объеме MICrONS, и исследовали, будут ли эти параметры полезны для изучения взаимосвязи структуры и функции мозга.
Сначала ученые изучили позицию считывания, которая состоит из двух параметров на нейрон: азимутального (x) и высотного (y) местоположения, указывающих центр рецептивного поля, изученного моделью для каждого нейрона. Анализ позиций считывания показал, что они точно улавливают ретинотопическую организацию зрительной коры (5c). В V1 позиции считывания x выровнены с медиально-латеральной осью, а позиции y выровнены с рострально-каудальной осью. На границе V1 и LM/RL наблюдалась инверсия оси для позиции считывания x, разграничивающая переходную зону между этими областями. Такая организация позиций считывания в соответствии с анатомическим расположением хорошо согласуется с предыдущими исследованиями ретинотопической организации в зрительной коре мышей.
Далее ученые исследовали, как веса считывания, 512-мерный вектор на нейрон, можно использовать для прогнозирования анатомических свойств, таких как зрительная область и морфологически определенные типы клеток. Эти веса считывания служат функциональным штрих-кодом, кодирующим настройку нейрона на визуальные характеристики, создаваемые основным модулем в его позиции считывания. Было обнаружено, что эти функциональные штрих-коды фиксируют различия между зрительными областями (V1, LM, AL и RL).
Используя логистическую регрессию, веса считывания могли предсказывать зрительные области со сбалансированной точностью 68%, что превышает уровень вероятности 25% (5d). Ученые далее исследовали возможность прогнозирования 11 морфологически определенных типов возбуждающих клеток из слоев 2–5 неокортекса (5f). Опять же, используя логистическую регрессию, ученые достигли сбалансированной точности 32% для предсказания типа клеток, превзойдя базовый уровень вероятности 9% (5e). Поскольку эти типы клеток довольно хорошо разделены по глубине коры (5f), возможно, что классификатор научился предсказывать глубину непосредственно из изменяющегося по глубине отношения сигнал/шум двухфотонной (2P) визуализации. Чтобы контролировать это потенциальное смешение, ученые обучили классификатор предсказывать типы клеток из глубины 2P (уменьшенная модель) и сравнили со вторым классификатором, снабженным как глубиной 2P, так и весами признаков считывания (полная модель). Было обнаружено, что полная модель значительно превзошла урезанную модель в предсказании типов клеток. Это указывает на то, что веса признаков считывания вносят вклад в производительность классификатора.
В совокупности эти результаты демонстрируют, что базовая модель охватывает как функциональные, так и структурные свойства нейронов, что делает ее ценным инструментом для анализа структурно-функциональных связей в объеме MICrONS и изучения механизмов вычислений в зрительной коре.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
В рассмотренном нами сегодня труде ученым успешно удалось воссоздать цифровую версию зрительной коры головного мозга мыши.
Цифровая копия была обучена на больших наборах данных мозговой активности, собранных из зрительной коры настоящих мышей, когда они смотрели видео. Затем данная модель могла предсказывать реакцию десятков тысяч нейронов на новые видео и изображения. В отличие от предыдущих ИИ моделей зрительной коры, которые могли имитировать реакцию мозга только на тот тип стимулов, который они видели в данных обучения, новая модель может предсказывать реакцию мозга на широкий спектр новых визуальных входных данных. Она может даже предполагать анатомические особенности каждого нейрона.
Новая модель является примером базовой модели, относительно нового класса моделей ИИ, способных обучаться на больших наборах данных, а затем применять эти знания к новым задачам и новым типам данных — или того, что исследователи называют «обобщением вне распределения обучения». Ярким примером подобной модели является ChatGPT, который может обучаться на больших объемах текстов, чтобы потом понимать и генерировать новые тексты.
В ходе исследования мышам демонстрировали видео, в которых было много движения, так как они гораздо лучше видят именно движения, нежели цвета и детали объектов. В результате было записано более 900 минут мозговой активности мышей, смотревших «Безумный Макс» (и нет, это не шутка, ведь в данном фильме более чем достаточно движущихся объектов). Во время просмотра фильма специальная камера отслеживала движения глаз мышей и их поведение. Затем ученые использовали агрегированные данные для обучения базовой модели, которую затем можно было настроить в цифровую копию любой отдельной мыши с небольшим дополнительным обучением. Цифровая копия могла очень точно имитировать нейронную активность биологического оригинала в ответ на новые визуальные стимулы.
Ученые отмечают, что цифровая копия может существовать намного дольше, чем биологический оригинал. Следовательно, проведение исследований и экспериментов не ограничено временем. Опыты, на которые могли бы уйти годы, теперь могут быть выполнены за считанные часы. В будущем ученые намерены использовать свои наработки для создания цифровых копий других областей мозга, а также задействовать животных с более развитыми когнитивными способностями. Когда ученым удастся сделать полную цифровую копию мозга человека — пока неизвестно, но начало уже положено.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
Автор: Dmytro_Kikot
