- BrainTools - https://www.braintools.ru -

С новым имплантатом парализованный набрал текст силой мысли

12 мая Стэнфордский университет объявил о создании [1] нового имплантата, позволяющего парализованным людям преобразовывать мысленные сигналы в текст на экране компьютера. С помощью интерфейса «мозг — компьютер» (ИМК или BCI) [2] 65-летний участник испытаний набрал 90 символов за минуту с точностью 94,1 %. 

С новым имплантатом парализованный набрал текст силой мысли - 1

Первые научные работы по теме интерфейса «мозг — компьютер» начали появляться в 1970-х годах. В восьмидесятых учёные предложили использовать ИМК для помощи парализованным людям и описали принципиальную схему работы устройства. В 1998 году проходит первая операция по внедрению нейроинтерфейса в художника и музыканта Джонни Рей. После тренировок Рей мог управлять курсором на экране и генерировать музыкальные сигналы. С тех пор похожие эксперименты проводились неоднократно.

Новый проект разработан исследователями Медицинского института Говарда Хьюза в Стэнфордском университете под руководством нейрохирурга Джейми Хендерсона и Кришны Шеноя. Шеной и Хендерсон сотрудничают в области BCI с 2005 года. В 2017 году они публикуют исследование в журнале eLife, в котором использовали первую систему ИМК. Исследователи просили трёх испытуемых с параличом сконцентрироваться и представить движение руки, перемещение мышки по монитору и нажатие на клавишу. Полученные результаты они перенесли в новое исследование. 

Первым испытателем нового устройства стал 65-летний мужчина, участвовавший в исследовании 2017 года. Из-за травмы спинного мозга [3] в 2007 году его тело ниже шеи было парализовано. В предмоторную кору головного мозга [4] мужчины вживили два имплантата с сотней электродов на каждом. Оба имплантата единовременно считывают сигналы от двухсот нейронов. В предмоторной коре происходит формирование намерения выполнить движение, которое улавливает ИМК. Для написания буквы на экране мужчине необходимо было представить движение так, как бы он выполнил его с помощью руки. После два имплантата передавали сигналы алгоритму, который переводил их в буквы и отображал на экране.

Другие существующие ИМК предлагают пользователю электронную клавиатуру и курсор, с помощью которого набирается текст. Процесс занимает много времени и требует полной концентрации внимания [5]. Созданный в Стэнфорде ИМК распознаёт «почерк» человека на основе полученных из мозга [6] сигналов и самостоятельно набирает текст на экране. Это ускоряет работу и упрощает обучение [7]. Также пользователю больше не нужно полностью концентрироваться на управлении курсором благодаря автоматическому распознаванию символов в алгоритме. 

«Написанные» испытуемым буквы и то, как их распознал алгоритм.
«Написанные» испытуемым буквы и то, как их распознал алгоритм.

В результате испытуемый набрал 90 символов за минуту с заранее подготовленного текста. Здоровые люди того же возраста набирают на смартфоне 115 символов в минуту. Точностью распознавания составила 94,1 %. Её удалось повысить до 99 % после введения автокоррекции. С произвольного текста испытуемый набрал 75 символов за минуту с точностью 98 %. Точность набора на новом ИМК близка к средним показателям [8] у здоровых людей.

Для достижения полученных результатов исследователи предварительно обучали алгоритм. Испытуемого мужчину просили представлять то как он пишет ту или иную букву, знак препинания и пробел. Для обозначения пробела использовался символ «>». Далее учёные определили особенности нейронных записей при «написании» той или иной буквы. В процессе выяснилось, что сигналы для написания одного символа сгруппированы в одном и том же месте. Физически похожие символы (p, b, h) образовывали кластеры рядом друг с другом. Таким образом удалось выделить общие закономерности и обучить алгоритм для автоматического распознавания символов. 

По словам исследователей, новый ИМК пока не готов к использованию. Его успели испытать только на одном человеке и не ясно, придётся ли заново обучать алгоритм для применения на других людях. В программе не содержится цифр, заглавных букв и большинства форм пунктуации. Кроме того, образование рубцовой ткани сместило имплантаты, и устройство пришлось калибровать. Тем не менее такой ИМК уже обладает преимуществами в виде скорости работы и удобства использования. 

Материалы исследования были опубликованы в статье «High-performance brain-to-text communication via handwriting [9]» в журнале Nature. DOI: 10.1038/s41586-021-03506-2 [10] 

Автор: ancotir

Источник [11]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/10650

URLs in this post:

[1] объявил о создании: https://med.stanford.edu/content/sm/news/all-news/2021/05/software-turns-handwriting-thoughts-into-on-screen-text.html

[2] (ИМК или BCI): https://habr.com/ru/post/431574/

[3] спинного мозга: http://www.braintools.ru/article/9195

[4] кору головного мозга: http://www.braintools.ru/article/3368

[5] концентрации внимания: http://www.braintools.ru/article/4384

[6] мозга: http://www.braintools.ru/parts-of-the-brain

[7] обучение: http://www.braintools.ru/article/5125

[8] показателям: https://ws.iat.sfu.ca/papers/textperfmetrics.pdf

[9] High-performance brain-to-text communication via handwriting: https://www.nature.com/articles/s41586-021-03506-2

[10] 10.1038/s41586-021-03506-2: http://dx.doi.org/10.1038/s41586-021-03506-2

[11] Источник: https://habr.com/ru/news/557332/?utm_source=habrahabr&utm_medium=rss&utm_campaign=557332

www.BrainTools.ru

Рейтинг@Mail.ru
Rambler's Top100