Процесс обучения является жизненно важным аспектом жизни любого организма. Знания об окружающей среде, ее обитателях и, как следствие, о потенциальных угрозах позволяет организму выжить. При этом далеко не все новорожденные позвоночные находятся под опекой своих родителей длительное время, что позволяет им перенять их опыт. Часто в мире дикой природы существо после рождения остается наедине с окружающим миром и таящимися в нем опасностями. И в таких случаях любопытно понять, как именно животные, которым буквально без году неделя, а то и всего один день, обучаются. Ученые из Медицинского института Говарда Хьюза (Мэриленд, США) разработали систему наблюдения, в которой роботизированные хищники гоняются за молодыми рыбками данио-рерио, что позволяет наблюдать за процессом их обучения и адаптации. Как работают данные роботы, каково было поведение рыбок, и к каким выводам пришли исследователи? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
Выживание в сложных условиях требует распознавания и избегания хищников. Распознавание знакомых особей своего вида может основываться на статическом наборе сенсорных сигналов, которые не меняются на протяжении всей жизни животного. Однако внешний вид конкретных хищников может меняться из-за миграции или колебаний численности популяции. Поэтому избегание хищников часто опирается на выученное распознавание, нетривиальную задачу, когда жертва должна извлекать и изучать особенности хищника в разгар хищничества. Более того, поскольку нападение может привести к смерти, обучение должно происходить быстро, в идеале после одного взаимодействия хищника и жертвы.
Личинки данио-рерио сталкиваются с проблемой распознавания хищников, поскольку они не получают родительской защиты. Неясно, может ли их сверхкомпактный мозг, содержащий в 100 раз меньше нейронов, чем мозг взрослого человека, поддерживать такое быстрое обучение. Хотя молодые данио-рерио и крысы могут выполнять некоторые формы обучения, это обучение происходит в масштабе времени десятков минут: медленнее и менее надежно, чем у более старых животных. Таким образом, неизвестно, могут ли новорожденные животные учиться в масштабах времени, необходимых для распознавания хищников.
Исследования биологического обучения достигли больших успехов в описании изменений, связанных с обучением, на уровне молекул, синапсов и отдельных областей мозга, причем большинство исследований проводилось на взрослых животных. Ученые задались вопросом, могут ли очень молодые позвоночные научиться распознавать в остальном безобидный на вид объект как угрозу после очень короткого проявления агрессии, и какие механизмы мозга обеспечивают такое быстрое обучение. Ученые разработали смоделированный опыт хищника, названный «условным избеганием робота» (CRA от conditioned robot avoidance), когда личинки данио-рерио испытывают кратковременные негативные взаимодействия с роботами в своей среде. В CRA небольшой цилиндрический робот сначала неподвижен, но затем он «оживает» и начинает двигаться автономно и преследовать рыбу. Было обнаружено, что в течение нескольких минут прерывистых преследований личинки в возрасте 5–13 дней после оплодотворения (dpf от days post-fertilization) узнавали, что робот представляет угрозу, и избегали его в течение десятков минут, даже когда он больше не двигался. Это распознавание было специфическим, так как робот другого цвета, но в остальном идентичный внешне не вызывал избегания, что подразумевает замечательную способность молодых личинок не обобщать выученное избегание. Было обнаружено, что личинки демонстрируют выученное избегание по отношению к роботам в удивительно молодом возрасте, в котором они все еще испытывают трудности с другими учебными задачами, что указывает на постепенный выход из-под контроля способностей к ассоциативному обучению.
С помощью функциональной визуализации всего мозга во время воздействия угрозы и скрининга на участие основных нейромодуляторных систем были отслежены нейронные сигналы, лежащие в основе обучения в распределенных областях переднего мозга и норадренергической (NE от noradrenergic) системе. Динамика реакции в областях переднего мозга, включая хабенулу и конечный мозг, была необходима для обучения и была функционально связана с динамикой голубого пятна (LC от locus coeruleus), что согласуется с механизмом обучения, включающим управляемую LC сигнализацию в распределенные области переднего мозга. В совокупности эти наблюдения раскрывают управляемую NE форму быстрого обучения о хищниках в зарождающемся мозге позвоночного, содержащем всего 1% от числа нейронов его взрослого аналога.
Результаты исследования
Изображение №1
Ученые проверили, могут ли личинки данио-рерио научиться избегать простого, неподвижного физического объекта после того, как они воспримут его как «оживший» и будут подвержены агрессивному воздействию в течение короткого периода времени (1A, 1B). Робот, немного больше личинки, был разработан так, чтобы выглядеть нейтральным, поэтому его атрибуты хищника должны были быть изучены из агрессивных взаимодействий с рыбой. Рыба плавала на арене (длина 2 см, ширина 2.5 см, глубина 5 мм) в присутствии робота, который изначально был неподвижен. В течение 3–4 минут обучения робот преследовал рыбу с перерывами, с периодами случайного движения между короткими последовательностями преследования (общая продолжительность преследований составляла 60–90 секунд). Поведение при плавании сравнивалось до и после обучения, при этом робот был неподвижен в течение 10 минут в каждом периоде (1A; видео №1).
Видео №1
Используя эту систему, ученые проверили, могут ли рыбы ассоциировать робота с атрибутами существа, похожего на хищника, даже после того, как робот прекращает движение. После короткого протокола обучения преследованию в период после обучения было обнаружено, что большинство рыб избегали неподвижного робота, что количественно определялось путем измерения времени, проведенного в каждом из четырех квадрантов арены (1C, 1D). Модель смеси Гаусса, соответствующая изменению времени, проведенного в квадранте, в котором находился магнит, между периодами до и после обучения, использовалась для классификации отдельных рыб как обучающихся или необучающихся. Ученые пришли к выводу, что 61% протестированных рыб (всего 41) научились избегать робота после обучения. Другие аспекты поведения, такие как частота заплывов и средняя скорость, остались в значительной степени неизменными. Это показывает, что рыбы все еще были активны и нормально двигались после обучения. Таким образом, личинки данио-рерио быстро учатся избегать робота, даже после того, как он перестает двигаться, после кратковременных взаимодействий, напоминающих нападения хищников.
Затем была проведена характеризация временного хода избегания. В течение 30 минут после обучения избегание было относительно постоянным, с короткими периодами, когда рыба ненадолго заходила в квадрант робота (1E). В отдельной подгруппе экспериментов изучалось, как долго будет сохраняться избегание, удаляя робота и снова вводя его один раз в час после обучения. Было обнаружено, что 3/4 рыб продолжали избегать робота через 1 час после обучения, а через 2 часа большинство рыб (62%) перестали избегать его. Таким образом, CRA представляет собой быстро вызванное и относительно продолжительное поведение избегания, сохраняющееся в течение примерно 1 часа после обучения.
Вышеуказанный анализ был проведен на рыбах, проверенных на активное исследование арены до обучения. Однако подгруппа рыб не плавала равномерно по всей арене, показывая слабое избегание по направлению к магнитному квадранту. Врожденная тенденция в этой подгруппе предполагает нейроповеденческую программу избегания объектов, которая может быть заимствована во время выученного избегания, наблюдаемого в CRA. Это также поднимает вопрос о том, отражает ли CRA подлинное обучение или более простое вызванное стрессом «включение» существующей поведенческой модели. Чтобы контролировать это, ученые ввели второй анализ, в котором робот не двигался, и где период обучения был заменен 3 минутами встряхивания в чашке Петри. Личинки, манипулируемые таким образом, не показывали избегания по отношению к роботу после встряхивания. Это позволяет предположить, что CRA не является простой реакцией на стресс, при которой рыбы избегают любого объекта в своей среде. Однако все еще существовала возможность, что CRA — это более специфичный переключатель на врожденное избегание объектов. В этом случае после такого переключения рыба должна избегать всех роботов без разбора, что и было проверено далее.
Чтобы подтвердить, что CRA вызывает избегание, характерное для ранее агрессивного робота, ученые модифицировали анализ, включив в него дополнительного «доброго» робота, идентичного по форме движущемуся роботу, но всегда неподвижного и окрашенного в другой цвет (1F; агрессивный робот был красным для половины протестированных рыб и синим для другой половины). Другой, агрессивный, робот также сидел неподвижно в периоды до и после обучения, но преследовал рыбу во время обучения.
Было установлено, что рыбы научились избирательно избегать агрессивного робота после обучения, что отразилось в их избегании квадранта с агрессивным роботом, но не квадранта с добрым роботом (1F, 1G), а также в увеличении среднего расстояния между рыбой и агрессивным роботом, но не добрым роботом (1H). Частота и скорость плавания оставались неизменными между периодами до и после обучения. Эти наблюдения исключают возможность того, что рыбы неразборчиво избегают объектов в своей среде из-за стрессоподобных состояний, вызванных атаками, вместо этого показывая, что поведение избегания связано с определенными идентификационными признаками робота. Ученые пришли к выводу, что кратковременные опыты атак вызывают долговременное избегание, которое характерно для ранее агрессивных агентов в среде.
Видео №2
Впервые CRA наблюдалось на арене размером 2.5 на 2.0 см у данио-рерио в возрасте 9–13 дней, как описывалось выше. Молодые (5–6 дней) данио-рерио не показали CRA на этой небольшой арене, предположительно из-за помех, вызванных стрессом ограничения. Чтобы проверить, выполняют ли молодые данио-рерио обучение CRA на более крупной и, следовательно, более естественной арене с меньшим стрессом ограничения, ученые создали вторую установку, используя круглую арену диаметром 6.0 см. В этом случае данио-рерио в возрасте 5–7 дней демонстрировали CRA (видео №2) после 45 секунд преследования (всего 90 секунд, из которых 45 секунд было временем преследования). Это показывает, что CRA присутствует с очень раннего возраста, уже с пятого дня. Таким образом, личинки обучаются CRA всего через 1 день после того, как начинают плавать.
Изображение №2
Ученые стремились выяснить нейронные механизмы, лежащие в основе CRA. Дофаминергическая, серотонинергическая и NE системы были вовлечены в различные формы обучения, играя роль в содействии пластичности. Чтобы определить необходимость этих нейромодуляторных систем в CRA, ученые хемогенетически повреждали каждую из них одну за другой у рыб в возрасте 9–13 дней, используя специфическую для типа клеток экспрессию нитроредуктазы, которая вызывает гибель клеток, вызванную токсином, после инкубации с пролекарством метронидазолом.
Рыбы с поражением дорсального ядра шва (DRN от dorsal raphe nucleus) все еще были способны изучать CRA на уровне интактных контрольных животных (2A–2D). Аналогично, рыбы с дофаминергической абляцией были способны обучаться CRA (2E–2H). Напротив, абляции системы NE привели к полной потере способности к обучению (2I–2L; все обобщены на рисунке 2M).
Аналогичное количество рыб избегало квадрантов без робота и квадранта ч роботом, что указывает на неспособность правильно ассоциировать робота с опасностью (2L, 2M). Некоторые рыбы с абляцией системы NE показали повышенное тигмотактическое поведение; однако это не было одинаковым для всех протестированных рыб. Другие аспекты поведения при плавании, такие как частота и скорость плавания, оставались схожими между периодами до и после тренировки, а также между поврежденными и контрольными условиями для всех нейромодуляторных абляций. Таким образом, именно система NE, а не дофаминергическая или серотонинергическая системы, необходима для выполнения обучения CRA личинками данио-рерио.
Изображение №3
Основываясь на идентификации системы NE, которая включает LC как драйвер обучения, ученые обратили внимание на паттерны нейронной активности, связанные с обучением. Была использована сокращенная подготовка, которая охватывала основные компоненты обучения CRA, в котором зафиксированная в агаре рыбка данио-рерио испытывает приближение робота и его отступление (3A, 3B). Сначала ученые подтвердили, что эта базовая ограниченная парадигма может вызывать обучение: рыба, которая испытала приближение робота и впоследствии была освобождена, показала избегание робота. Затем, используя микроскопию с конфокально выровненным планарным возбуждением (SCAPE от swept confocally aligned planar excitation) (3A), ученые визуализировали активность LC у рыб в возрасте 9–13 дней. Эта популяция показала сильные реакции, которые были привязаны по времени к движению робота, длящиеся около 7 секунд, и были наиболее сильными во время приближения и отступления робота (3C). Интересно, что реакции LC были значительно снижены, когда робот двигался из стороны в сторону, стимул, который не вызывал избегания у свободно плавающих рыб. В целом эти эксперименты согласуются с алгоритмом обучения, в котором движение робота, особенно движения, похожие на атаку, в период приближения, служат сигналом обучения, аналогичным безусловному стимулу (US от unconditioned stimulus) в рамках классического обусловливания.
В поисках нейронной реализации CRA ученые задались вопросом, как весь мозг реагирует на приближение робота и его нахождение рядом и как такие ответы соотносятся с ответами LC, описанными выше. Ученые визуализировали личинок данио-рерио в возрасте 9–13 дней с генетически закодированным датчиком кальция, экспрессируемым в большинстве нейронов. Наблюдались ответы во время приближения относительно исходного уровня (3D) в нескольких регионах (3E), которые были идентифицированы посредством регистрации в анатомическом атласе как включающие LC, паллиум, субпаллиум, хабенулу, таламус, претектум, тектум, серотонинергический шов, гипоталамус и мозжечок (3E).
Ученые предположили, что мозг может содержать представление о присутствии робота, независимое от его движения, аналогичное условному стимулу (CS от conditioned stimulus), который посредством обучения связывается с действиями уклонения. Поэтому ученые искали такие представления, ища популяции, демонстрирующие повышенную активность во время неподвижной части стимула. Большинство областей, активных во время приближения, демонстрировали затухающую активность во время неподвижного периода (3F). Однако паллиум и субпаллиум были уникальны тем, что демонстрировали постоянно повышенную активность во время неподвижного периода (3E, 3F). Действительно, эти области, вместе с хабенулой, также содержали значительно больше нейронов, причем активность достигала пика позже во время стимула в неподвижный период, чем другие области переднего мозга, такие как таламус (3G, 3H). Таким образом, результаты визуализации всего мозга предполагали, что активность мозга, кодирующая близкое присутствие робота, обнаруживается в конечном мозге и хабенуле.
Поскольку система NE необходима для обучения, а области конечного мозга и хабенулы показали устойчивые ответы во время опыта с роботом, предполагая, что они могут кодировать присутствие робота, ученые задались вопросом, демонстрируют ли LC и передний мозг функциональную связь. Было отмечено, что в некоторых испытаниях активность LC была более кратковременной, а в других испытаниях она была более устойчивой (3I). Наблюдалась сильная связь между LC и конечным мозгом и хабенулой, где более кратковременные ответы LC сменялись более устойчивыми ответами в этих последних регионах, а более устойчивые ответы LC сменялись более кратковременными ответами (3I, 3J). Никакие другие проанализированные области не показали этой функциональной связи с LC (3I–3K). Для сравнения, повторение анализа с использованием таламуса вместо LC не дало аналогичной обратной связи с конечным мозгом и хабенулой. Наконец, не было никакой функциональной связи между конечным мозгом и хабенулой и кластером NE продолговатого мозга. Следовательно, эта связь была специфична для LC. Сильная связь между LC и ответами конечным мозгом/хабенулой в сочетании с наблюдением, что LC необходим для обучения CRA, привели к рассмотрению гипотезы о том, что конечный мозг и хабенула являются необходимыми компонентами механизма обучения.
Изображение №4
Чтобы проверить, необходимы ли конечный мозг и хабенула для обучения CRA, ученые вакуумно аспирировали большую часть этих отделов у рыб в возрасте 9–13 дней (4A) и после восстановления проверили способность рыб к обучению. Поврежденные рыбы все еще плавали и исследовали, но не могли выучить CRA (4B–4D). Таким образом, в соответствии с измеренными ответами (3E, 3F) и функциональной связью с LC (3I, 3J), сочетание конечного мозга и хабенулы необходимо для обучения CRA.
Затем ученые специально повредили хабенулу, используя двухфотонную клеточную абляцию. Для контроля неспецифических эффектов лазера и гибели клеток ученые удалили обонятельный эпителий для сравнения (4E), что не повлияло на обучение (4F, 4G). Удаление хабенулы привело к почти полной потере обучения (4F, 4H). Таким образом, хабенула необходима для обучения CRA. Другие аспекты поведения при плавании остались неизменными. В целом, конечный мозг и хабенула необходимы для CRA, что согласуется с ролью контуров переднего мозга в когнитивных функциях более высокого порядка. Хабенула, в частности, необходима, что согласуется с ее предполагаемой ролью связывания лимбических контуров переднего мозга и областей среднего и заднего мозга.
Объединяя поведенческие, абляционные и визуализационные результаты, ученые продемонстрировали быстрое обучение распознаванию агрессивных агентов в зарождающейся нервной системе позвоночных. Это ассоциативное обучение опирается на многорегиональную сеть, включая сигнализацию NE, с активностью LC, соответствующей обучающему сигналу, кодирующему движение нападающего, а также популяциям, распределенным по переднему мозгу, в частности, хабенуле, активность которой представляет присутствие объекта, который ассоциируется с опасностью через опыт.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.
Эпилог
В рассмотренном нами сегодня труде ученые решили протестировать молодых рыбок данио-рерио, которые спустя всего несколько дней после своего появления на свет способны распознавать и избегать опасность. А в этом им помогли маленькие роботы-хищники.
Ранее опыты с рыбками данио-рерио показали, что они способны усваивать простые ассоциации с малого возраста. Однако данный тип обучения требует много времени и часто является ненадежным. Более точные опыты были осложнены тем, что в лабораторных условиях, далеких от реальной среды обитания рыбок, результаты будут искажены.
В данном же труде ученые попытались воссоздать в лаборатории реальную среду с добавлением хищника, чей внешний вид отличается от реального, которого рыбки могли бы встретить в естественной среде обитания. Данный робот был цилиндрической формы и был запрограммирован на определенное хищническое поведение.
Опыты показали, что рыбки способны чрезвычайно быстро учиться избегать роботов, демонтирующих агрессивное поведение, и различать роботов («хищных» и «добрых», которые были неподвижны либо двигались из стороны в сторону).
Стоит отметить, что хищники у данио-рерио не всегда одинаковы, то есть присутствует видовое и визуальное разнообразие, не позволяющее данным рыбкам опираться на внешний вид потенциальной опасности. Свободно плавающую рыбку поместили на арену с неподвижным роботом. Рыбка уверенно исследовала всю арену, даже вокруг робота. Но, когда робот начал ее преследовать в течение 1 минуты, рыбка не только убегала, но и потом избегала приближения к роботу, который вновь становился неподвижным. Добавление на арену робота, что всегда был неподвижен, показало, что рыбка не будет воспринимать его как угрозу, но будет избегать первого, что ее преследовал.
Далее ученые провели ряд анализов, дабы установить, какие именно системы задействованы в ходе такого обучения. Визуализация всего мозга данио-рерио выявила два связанных сигнала, которые необходимы рыбе, чтобы научиться распознавать и избегать робота-хищника. Быстрый обучающий сигнал исходит от норадренергической системы рыбы, а клетки в заднем мозге — области, которая контролирует основные функции — реагируют на приближающегося хищника. Более медленный сигнал, распространяющийся по переднему мозгу — области, связанной с обучением и планированием, — кодирует присутствие робота-хищника. Оба региона необходимы для обучения, и подавление любого из них лишает рыбу возможности учиться. Исследователи обнаружили, что хабенула, область мозга, которая, как известно, участвует в сигнализации об аверсивных результатах, также необходима для обучения.
Результаты данного исследования могут помочь лучше понимать, как обучение происходит в мозге с большими нейронными сетями. Изучение сложного мозга является, как ни очевидно, сложным процессом. Потому использование личинок данио-рерио так важно, ибо изучение их более простого мозга позволяет построить фундамент, который принципиально может быть применен для исследований мозга, к примеру, человека.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
Автор: Dmytro_Kikot
