Кажется, идея «научить железо думать как мозг» витает в воздухе уже не первый десяток лет. Но только недавно всё это начало превращаться из фантазии в реальный, пусть и немного сумасшедший, стек технологий. Да, речь о нейроморфных чипах — штуках, которые пытаются подражать структуре и работе биологических нейронов. В отличие от привычных CPU/GPU, где всё последовательно и синхронно, тут полное безумие: события обрабатываются асинхронно, нейроны «спайкаются», синапсы учатся на лету.
Для кого-то это просто красивая идея из научпопа, а для кого-то — возможность сделать ИИ, который не сожрёт всю розетку за час. Я — из второй категории.
О чём вообще речь и почему это важно
Сценарий: у нас есть встраиваемая система, на которой должен работать ИИ. Размер — с половину кредитки. Питание — от батарейки. Типовой ИИ на TensorFlow с RTX 4090, как вы понимаете, не вписывается. Нужна альтернатива.
Вот здесь и всплывают нейроморфные чипы. Например, тот же Loihi 2 от Intel — его можно обучать прямо на устройстве, он потребляет милливатты, и при этом решает задачи вроде классификации сигналов, распознавания речи и даже простенькой навигации.
Железо и инструментарий
Для эксперимента использовался чип Loihi 2 в составе платы Kapoho Point. Из коробки там — SDK под названием Lava, написанный на Python. Он не идеален, но работать можно.
Вот минимальный пример, как создать спайковую нейросеть, обучающуюся на входных паттернах:
from lava.magma.core.process.neuron import LIF
from lava.magma.core.process.process import Process
from lava.magma.core.run_configs import Loihi1SimCfg
from lava.magma.core.run_conditions import RunSteps
class MyInput(Process):
# простой источник спайков
pass
lif = LIF(shape=(10,))
input = MyInput(shape=(10,))
input.s_out.connect(lif.a_in)
lif.run(condition=RunSteps(100), run_cfg=Loihi1SimCfg())Конечно, в реальности всё будет сложнее — синапсы, STDP (обучение через зависимость от времени спайков), топология сети, прерывания. Но главное — с этим реально можно работать, даже без магистратуры по нейробиологии.
Кейс: распознавание шаблонов сигналов
Реальный пример: устройство должно распознавать жесты по сигналу с акселерометра. Традиционное решение — записать окно сигнала, прогнать через LSTM-сеть, получить результат. Минусы: нужно хранить историю, нужно много ресурсов, долго обрабатывать.
На нейроморфии мы подходим иначе. Каждый входной канал генерирует спайки по амплитуде (пороговая квантовка), которые сразу поступают на нейроны. Вся сеть — это своего рода резонансный фильтр: определённые шаблоны возбуждают определённые нейроны. Прелесть в том, что сеть обучается на лету, не требуя переобучения всей модели.
В коде это выглядит так:
from lava.proc.learningrules.stdp.process import STDPLoihi
stdp = STDPLoihi(
pre_trace_decay=10,
post_trace_decay=10,
learning_rate=5
)
lif.synapse.connect(stdp)После пары сотен примеров, система начинает стабильно распознавать жесты с точностью 85-90%, потребляя при этом меньше 50 мВт.
Что пошло не так
Во-первых, документация — боль. Всё ещё ощущение, что ты где-то в альфа-тесте. Периодически нужно лезть в исходники SDK, чтобы понять, почему сеть не обучается. Во-вторых, визуализации пока убогие. В-третьих, отладка… это вообще отдельная песня. Асинхронность — зло и благо одновременно.
Был баг, когда нейроны просто не стреляли. Искал проблему 3 дня. Оказалось — забыл задать порог возбуждения. В логах — ничего. Просто тишина.
Выводы и личное мнение
Если хочется хайпа и готового фреймворка с кнопкой “обучи и выкати в прод” — нейроморфия пока не для вас. Но если вы хотите копнуть глубже, получить энергоэффективный ИИ и кайфануть от нестандартной архитектуры — стоит попробовать.
Мой следующий шаг — попробовать сшить такую систему с обычным Edge AI-стеком, чтобы получить лучшее из двух миров: мозг + сила. А пока — пусть кремний учится думать, как мозг. С минимумом потребления и максимумом интереса.
P.S. Если кто-то пробовал работать с Loihi или другими нейроморфными платформами — напишите, как вы решаете проблему дебага. Или мы все страдаем в одиночку?
Автор: AntonBelyaev7
