- BrainTools - https://www.braintools.ru -
12 мая Стэнфордский университет объявил о создании [1] нового имплантата, позволяющего парализованным людям преобразовывать мысленные сигналы в текст на экране компьютера. С помощью интерфейса «мозг — компьютер» (ИМК или BCI) [2] 65-летний участник испытаний набрал 90 символов за минуту с точностью 94,1 %.
Первые научные работы по теме интерфейса «мозг — компьютер» начали появляться в 1970-х годах. В восьмидесятых учёные предложили использовать ИМК для помощи парализованным людям и описали принципиальную схему работы устройства. В 1998 году проходит первая операция по внедрению нейроинтерфейса в художника и музыканта Джонни Рей. После тренировок Рей мог управлять курсором на экране и генерировать музыкальные сигналы. С тех пор похожие эксперименты проводились неоднократно.
Новый проект разработан исследователями Медицинского института Говарда Хьюза в Стэнфордском университете под руководством нейрохирурга Джейми Хендерсона и Кришны Шеноя. Шеной и Хендерсон сотрудничают в области BCI с 2005 года. В 2017 году они публикуют исследование в журнале eLife, в котором использовали первую систему ИМК. Исследователи просили трёх испытуемых с параличом сконцентрироваться и представить движение руки, перемещение мышки по монитору и нажатие на клавишу. Полученные результаты они перенесли в новое исследование.
Первым испытателем нового устройства стал 65-летний мужчина, участвовавший в исследовании 2017 года. Из-за травмы спинного мозга [3] в 2007 году его тело ниже шеи было парализовано. В предмоторную кору головного мозга [4] мужчины вживили два имплантата с сотней электродов на каждом. Оба имплантата единовременно считывают сигналы от двухсот нейронов. В предмоторной коре происходит формирование намерения выполнить движение, которое улавливает ИМК. Для написания буквы на экране мужчине необходимо было представить движение так, как бы он выполнил его с помощью руки. После два имплантата передавали сигналы алгоритму, который переводил их в буквы и отображал на экране.
Другие существующие ИМК предлагают пользователю электронную клавиатуру и курсор, с помощью которого набирается текст. Процесс занимает много времени и требует полной концентрации внимания [5]. Созданный в Стэнфорде ИМК распознаёт «почерк» человека на основе полученных из мозга [6] сигналов и самостоятельно набирает текст на экране. Это ускоряет работу и упрощает обучение [7]. Также пользователю больше не нужно полностью концентрироваться на управлении курсором благодаря автоматическому распознаванию символов в алгоритме.
В результате испытуемый набрал 90 символов за минуту с заранее подготовленного текста. Здоровые люди того же возраста набирают на смартфоне 115 символов в минуту. Точностью распознавания составила 94,1 %. Её удалось повысить до 99 % после введения автокоррекции. С произвольного текста испытуемый набрал 75 символов за минуту с точностью 98 %. Точность набора на новом ИМК близка к средним показателям [8] у здоровых людей.
Для достижения полученных результатов исследователи предварительно обучали алгоритм. Испытуемого мужчину просили представлять то как он пишет ту или иную букву, знак препинания и пробел. Для обозначения пробела использовался символ «>». Далее учёные определили особенности нейронных записей при «написании» той или иной буквы. В процессе выяснилось, что сигналы для написания одного символа сгруппированы в одном и том же месте. Физически похожие символы (p, b, h) образовывали кластеры рядом друг с другом. Таким образом удалось выделить общие закономерности и обучить алгоритм для автоматического распознавания символов.
По словам исследователей, новый ИМК пока не готов к использованию. Его успели испытать только на одном человеке и не ясно, придётся ли заново обучать алгоритм для применения на других людях. В программе не содержится цифр, заглавных букв и большинства форм пунктуации. Кроме того, образование рубцовой ткани сместило имплантаты, и устройство пришлось калибровать. Тем не менее такой ИМК уже обладает преимуществами в виде скорости работы и удобства использования.
Материалы исследования были опубликованы в статье «High-performance brain-to-text communication via handwriting [9]» в журнале Nature. DOI: 10.1038/s41586-021-03506-2 [10]
Автор: ancotir
Источник [11]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/10650
URLs in this post:
[1] объявил о создании: https://med.stanford.edu/content/sm/news/all-news/2021/05/software-turns-handwriting-thoughts-into-on-screen-text.html
[2] (ИМК или BCI): https://habr.com/ru/post/431574/
[3] спинного мозга: http://www.braintools.ru/article/9195
[4] кору головного мозга: http://www.braintools.ru/article/3368
[5] концентрации внимания: http://www.braintools.ru/article/4384
[6] мозга: http://www.braintools.ru/parts-of-the-brain
[7] обучение: http://www.braintools.ru/article/5125
[8] показателям: https://ws.iat.sfu.ca/papers/textperfmetrics.pdf
[9] High-performance brain-to-text communication via handwriting: https://www.nature.com/articles/s41586-021-03506-2
[10] 10.1038/s41586-021-03506-2: http://dx.doi.org/10.1038/s41586-021-03506-2
[11] Источник: https://habr.com/ru/news/557332/?utm_source=habrahabr&utm_medium=rss&utm_campaign=557332
Нажмите здесь для печати.