Самые яркие проекты по созданию нейроморфных процессоров [part 3]

Сегодня в мире существует совсем немного специализированных процессоров, чипов или крупномасштабных систем, которые можно отнести к нейроморфным. Про нейроморфные вычисления в целом мы уже говорили ^[1], про нейроморфные чипы ^[2] тоже, а в этой статье  расскажем о самых заметных на сегодня реализациях. Попытаемся раскрыть их суть, разобрать отличительные черты и выделить некоторые особенности.

Ну и как всегда, больше деталей на нашем инженерном портале ^[3].

TrueNorth: процессор, имитирующий миллион нейронов

TrueNorth — это продукт компании IBM и первый специализированный процессор, созданный для эффективной эмуляции ИНС. Чип IBM TrueNorth стал результатом десятилетней работы в рамках программы DARPA SYNAPSE, направленной на создание высокоплотной и энергоэффективной платформы, способной поддерживать когнитивные приложения. Ключевым компонентом является большой 28-нм CMOS-чип, содержащий 5,4 млн. транзисторов и 4 096 нейросинаптических ядер, каждое из которых состоит из 256 нейронов с 256 синаптическими входами. Микросхема полностью цифровая и работает асинхронно, за исключением тактовой частоты 1 кГц, которая определяет основной временной шаг.

Важно отметить, что чипы TrueNorth можно напрямую соединять друг с другом для формирования более крупных систем, это означает возможность неограниченной масштабируемости.

С точки зрения ^[4] применения, TrueNorth подходит для использования в различных отраслях и сферах деятельности. Система подходит для решения задач по видеоаналитике, распознаванию речи и пр.  TrueNorth предлагает очень энергоэффективную обработку в реальном времени многомерных данных [2] [3] [4] [5] [6].

Энергоэффективный симулятор мозга Neurogrid

Neurogrid был разработан группой Brains in Silicon в Стэнфордском университете в рамках проекта, который был запущен в конце 2009 года. В настоящий момент система используется для проведения экспериментов по моделированию и визуализации [12].

Neurogrid — это многочиповая система со смешанным режимом. В системе используется подпороговые аналоговые схемы для моделирования динамики нейронов и синапсов в биологическом реальном времени с помощью цифровой импульсной связи. Все сигналы в нейрон ^[5] поступают в одну из четырех общих цепей синапсов. Из-за «древообразной» структуры «вход» в один нейрон ^[6] воздействует на соседние нейроны через резистивную сеть.

Каждый чип Neurocore включает в себя маршрутизатор, который может передавать пакеты пиковых значений между своим локальным чипом, его родительским чипом и двумя дочерними чипами.

Neurogrid состоит из 16 нейроядер/чипов, каждый из которых содержит 65 тыс. нейронов (всего 1 млн. нейронов), реализованных в подпороговых аналоговых схемах. Отдельное нейроядро изготавливается на матрице размером 11,9 мм × 13,9 мм. Плата из 16 нейроядер имеет размер 6,5 × 7,5, при этом вся плата потребляет примерно 3 Вт.

Режим работы Neurogrid в режиме реального времени делает его подходящим для управления роботами, в частности в рамках исследования Neurogrid был подключен к роботизированной руке для управления протезной конечностью и демонстрировал довольно многообещающие показатели. Дальнейшее финансирование проекта направлено на использование очень низкого энергопотребления технологии для разработки чипа, который может быть имплантирован в мозг ^[7] для управления протезом конечности, а также для разработки технологии управления дронами [2] [3] [7].

BrainScaleS: ускорение в 10 000 раз

Нейроморфная система BrainScaleS была разработана в Гейдельбергском университете в рамках серии проектов, финансируемых Европейским союзом. BrainScaleS — это ускоренные нейроморфные вычисления, основанные на аналоговых нейронных цепях, превышающих пороговые значения. Проект нацелен на исследования в области вычислительной нейробиологии.

Ключевые особенности BrainScaleS:

●    Использование надпороговых аналоговых схем для реализации физических моделей нейронных процессов, что дает гораздо более быстрые схемы, работающие со скоростью, в 10 000 раз превышающей биологическую

●    Использование интеграции в масштабе пластины для доставки большого количества аналоговых нейронов, которые могут быть очень эффективно соединены между собой, чтобы обеспечить ускорение в 10 000 раз.

Крайне высокая скорость работы системы BrainScaleS предопределяет ее использование в областях, где необходимо длительный промежуток времени «сжать» до нескольких дней или даже часов. Например, долгосрочные учебные задачи, такие как моделирование нескольких лет развития детей, где ускорение в 10 000 раз потенциально может превратить годы в часы [2] [3].

SpiNNaker: суперкомпьютер, моделирующий работу мозга

SpiNNaker — это цифровая многоядерная система, работающая в реальном времени. Система реализует нейронные модели и модели синапсов в программном обеспечении, работающем на небольших встроенных процессорах. SpiNNaker был разработан для обеспечения масштабируемости и энергоэффективности за счет использования интеллектуальных методов коммуникации. Принцип его работы состоит в том, чтобы минимизировать расстояния, на которые должны быть перемещены часто используемые данные: код и наиболее часто используемые данные находятся в пределах одного-двух миллиметров от ядра, а редко используемые данные находятся в SDRAM, которая является примерно в 1 см от сердцевины.

Каждый узел SpiNNaker содержит 18 процессорных ядер ARM 968, каждое с 32 Кбайтами локальной памяти ^[8] команд и 64 Кбайтами локальной памяти данных, 128 Мбайт общей памяти, маршрутизатор пакетов и вспомогательные схемы. Один узел может моделировать до 16 000 цифровых нейронов с 16 миллионами синапсов, потребляя 1 Вт энергии. Существует два размера печатных плат SpiNNaker: меньший из них представляет собой плату с 4 узлами (64 000 нейронов), больший — плату с 48 узлами (768 000 нейронов). Плата с 48 узлами потребляет до 60 Вт. Нейроморфная вычислительная система SpiNNaker HBP включает в себя миллион процессоров на 48-узловых платах и ​​способна имитировать импульсные сети в масштабе мозга мыши в биологическом реальном времени.

Во многих отношениях система SpiNNaker напоминает обычный суперкомпьютер, но имеет ряд существенных отличий:

●    Процессоры в SpiNNaker — это небольшие целочисленные ядра, изначально предназначенные для мобильных и встроенных приложений, а не высокопроизводительные «толстые» ядра, которые традиционно предпочитают разработчики суперкомпьютеров

●    Структура связи в SpiNNaker оптимизирована для отправки большого количества очень маленьких пакетов данных (каждый обычно передает один нейронный всплеск) многим адресатам по статически настроенным групповым путям, тогда как суперкомпьютеры обычно используют большие пакеты с динамической двухточечной маршрутизацией.

Маломасштабные системы SpiNNaker используются для решения задач в реальном времени, например, для управления роботами и обработки изображений, а также для моделирования биологических цепей, не требующих работы в реальном времени [2] [3].

Авангард: нейроморфный чип Loihi

Loihi — это нейроморфный чип, представленный Intel Labs в 2018 году и изготовленный по 14нм техпроцессу Intel FinFET. Loihi моделирует 130 тыс. нейронов и 130 млн синапсов в реальном времени. Чип состоит из 128 нейроморфных ядер, способных к обучению ^[9] и логическим выводам. Протокол иерархической сети реализован для поддержки связи между нейроморфными ядрами.

Loihi считается первым полностью интегрированным чипом нейронной сети, поддерживающим сжатие разреженных сетей, многоадресную передачу от ядра к ядру, переменный синаптический формат и иерархическую связность.

Loihi может решать задачи оптимизации, такие как LASSO (Least Absolute Shrinkage and Selection Operator) и при этом он более чем в 30 раз энергоэффективнее традиционных используемых сейчас систем [2].[1]

Совсем недавно (во второй половине 2021 г.) компания Intel представила новый процессор — Loihi 2. В процессоре Loihi 2 выросло число нейронов со 128 тыс. до 1 млн. а также реализовано более гибкое программирование нейронной модели  (подробнее см. https://engineer.yadro.com/events/intel-loihi/ ^[10]).

Человеческий мозг vs нейроморфные системы: сравнение ключевых особенностей

Источник: [2] [3], открытые источники, данные компаний и пр.

Каждая из описанных выше систем имеет свои сильные стороны. Так, TrueNorth предлагает платформу для высокоинтегрированной и энергоэффективной работы приложений, SpiNNaker – максимальную гибкость для исследования различных нейронных моделей и правил пластичности, BrainScaleS обеспечивает высокое ускорение для длительного обучения, а Neurogrid предлагает высокую энергоэффективность с моделями, которые наиболее близки к физике и биологии. Loihi является наиболее перспективным и функционально богатым нейропроцессором. Все принципы функционирования этих систем в том или ином виде будут развиваться, а новые усовершенствованные системы будут еще производительнее и эффективнее.

Ключевые игроки на рынке нейроморфных технологий

В заключении перечислим менее известные пока проекты, в рамках которых апробируются разнообразные подходы к реализации с неплохим потенциалом к развитию: MNIFAT, DYNAP, 2IFWTA chip, Tianjic chip, ODIN [2] [9] [11].

Ниже перечислены наиболее крупные компании, которые на коммерческой основе предлагают рынку нейроморфные вычислительные системы или решения:

● Applied Brain Research — https://appliedbrainresearch.com/ ^[18]

●     BrainChip — https://brainchipinc.com/ ^[19]

● Green Mountain Semiconductor — https://www.greenmountainsemi.com/ ^[20]

● Hewlett Packard Enterprise — https://www.hpe.com/us/en/hewlett-packard-labs.html ^[21]

● IBM — https://www.research.ibm.com/artificial-intelligence/hardware/ ^[22]

● Intel — https://newsroom.intel.com/tag/neuromorphic-computing/ ^[23]

●     Knowm — https://knowm.org/ ^[24]

● Natural Intelligence Semiconductor — https://www.naturalintelligence.ai/ ^[25]

● Neuromem Technologies — http://neuromem.ai/ ^[26]

● Westwell lab – http://www.westwell-lab.com/index_en.html ^[27]