Главная страница
qrcode

Мозг-машинные интерфейсы достижения, проблемы и перспективы


НазваниеМозг-машинные интерфейсы достижения, проблемы и перспективы
АнкорКаплан А.Я - Мозг-машинные интерфейсы достижения, проблемы и перспективы.pdf
Дата20.04.2017
Размер3.15 Mb.
Формат файлаpdf
Имя файлаKaplan_A_Ya_-_Mozg-mashinnye_interfeysy_dostizhenia_problemy_i_p
оригинальный pdf просмотр
ТипДокументы
#17165
Каталог

Мозг
-
машинные интерфейсы:
достижения, проблемы и перспективы
А.Я.Каплан
Биологический факультет МГУ имени М.В.Ломоносова
;
Институт
Трансляционной медицины РНИМУ имени Н.И.Пирогова
Научная сессия
Отделение нанотехнологий и информационных технологий РАН
«НЕЙРОНАУКИ И НЕЙРОТЕХНОЛОГИИ»
(24 Апреля 2015 г)
http://brain.bio.msu.ru/

Определение термина: Интерфейс мозг-компьютер , мозг-
машинный интерфейс, нейроинтерфейс
Интерфейс мозг-компьютер – это технология, позволяющая человеку научиться управлять внешними исполнительными устройствами без мышечных усилий, напрямую от мозга, только на основе регистрации и расшифровки электрической активности мозга.
J.Wolpaw, 2002

Новые финансовые тренды нейронауки
Март 2013 Еврокомиссия выдала грант «Технологии будущего» на проект «Human Brain Project» - 1,3 млрд Евро.
Декабрь 2012 - Science опубликовал список из 10 самых важных научных прорывов 2012 года: наряду с бозоном Хиггса, некодирующей частью генома человека, посадки автомата на Марс и др -
Технология «интерфейс мозг-компьютер», «нейроинтерфейсы»
Апрель 2013 Обама объявил о запуске нового исследования строения головного мозга под названием BRAIN Initiative - 3 млрд $US.
2013 - 2015 Научные фонды России^ФПИ, Сколково, ФЦП, РФФИ,
РНФ, Минпромторг, Минобр, Минздрав.
2014 - 2015 Китай в процессе формирования программы «Понимание
Мозга» с возможным финансированием 11 млрд US$ на 10 лет

Device
Price
Electrodes
Released
Producer
Aurora Dream Headband
$199[1]
1 2015
iwinks
HiBrain
$230[2]
1 2014
HyperNeuro iFocusBand
$310[4]
1 2014
iFocusBand
MindWave
$99.95[6]
1 2011;
NeuroSky
Mindflex (UsesNeuroSky chips)
$50 [11]
1 2009
Mattel(Neuroskypartner
[13]
Emotiv EPOC
$399-
499 [14]
14 2009;
Emotiv Systems
Emotiv Insight
$299[19]
5 2015
Emotiv Lifescience
Star Wars Force Trainer (based on NeuroSky chips)
$45 [21]
1 2009
Uncle
Milton(Neuroskypartner
[12]
MindSet
$199[22]
1 2007;
NeuroSky
Neural Impulse Actuator
$90 [25]
3 2008;
OCZ Technology
Mindball
$20,000[2 8]
1 2003
Interactive Productline
XWave headset (NeuroSky chips)
$90 [30]
1 2011;
PLX Devices
XWave Sonic(NeuroSky chips)
$100[32]
1 2014
PLX Devices
MyndPlay BrainBand(NeuroSky chips)
$158[34]
1 2011
MyndPlay
Muse
$299[35]
4 2014
InteraXon
OpenBCI
$449
[38]
or
$799
[39]
8 or 16 2014
OpenBCI project
«Рынок» интерфейсов мозг-компьютер
7

Real-time control of a robot arm using simultaneously recorded
neurons in the motor cortex
Nature neuroscience •1999. V. 2 (7) 1999•664-670
J
.K. Chapin, K.A. Moxon, R.S. Markowitz and M.A. L. Nicolelis
Hahnemann School of Medicine, Philadelphia; Duke University Medical Center, Durham, USA
Предсказание: 100- 150 мс
1.Возможно ли найти функцию активности пула нейронов, которая будет кодировать намерение к движению ?
2. Возможно ли будет использовать этот код для управления рычагом вместо мышц?
3. Если верно 2, то переносится ли накопленный опыт мышечной работы, на работу мысленную? ms
Для свободно подвижного рычага:
- Возможно ли кодировать скорость?
- Возможно ли кодировать направление?

A Brain-Machine Interface Enables Bimanual Arm Movements in Monkeys
Sci Transl Med 2013, 5, 210, 210ra, 154; Duke University, Durham, USA.
P.J. Ifft, S.Shokur, Z.Li, M.A. Lebedev, M.A. L. Nicolelis*
C- 768 electrodes
M-384 electrodes
1. Возможно ли кодировать координацию управления через
ЭЭГ двумя объектами?
374 to 497 neurons
Можно систему калибровать без джойстика !
2. Возможно ли сформировать навык управления через ЭЭГ без реального действия ?

Active tactile exploration using a brain–machine–brain interface
NATURE 2011 V. L 4 7 9 (1 0) N November 227-232 Duke University, USA
J.E. O’Doherty, M.A. Lebedev, P.J. Ifft, K.Z. Zhuang, S.Shokur, H.Bleuler, M.A. L. Nicolelis
Проблема обратной связи в
нейроинтерфейсах
Возможно ли сделать
нейроинтерфейс замкнутого
типа: с обратной связью по
результату управления?
Микростимуляция сенсорной
коры сообщает о
«шероховатости» тарелки на
экране при ощупывании
виртуальной рукой.
Вопросы кодирования
управляющих и обратных
сигналов открыты.

Direct Cortical Control of Primate Whole‐Body Navigation
in a Mobile Robotic Wheelchair. S.Rajangam, P.Tseng1,
A.Yin,M.A. Lebedev,M. A. L. Nicolelis
Навигация тела!
1.Возможно ли управлять позиционированием всего тела?
2. Как тренировать навык навигации тела?

Closed-loop control of spinal cord stimulation to restore hand function after paralysis
J.B.Zimmermann and A.Jackson Donoghue Lab, Brown University, Providence, RI, USA
Frontiers in Neuroscience | Neuroprosthetics 2014 | Volume 8 | Article 87 | 1
Кортико-спинальный шунт!
1.Возможно ли управлять рукой при шейном пересечении спинного мозга ?
2. Информационное содержание нисходящего спинального сигнала?
3. Возможно ли выработать навык управления рукой через шунт?

High-performance neuroprosthetic control by an individual with tetraplegia
Andrew B. Schwartz, Bioengineering University of Pittsburgh. Lancet V 381 Feb 2013
,
Reach and grasp by people with tetraplegia using a neurally controlled robotic arm
John P. Donoghue Brown University, Providence Nature 485 May 2012

Биологические структуры между электродом и поверхностью коры головного мозга
На пути к регистрации психических актов
Электроэнцефалография

Психическое
усилие
(намерение)
Изменение
биопотенциалов
ON-line
Расшифровка
«намерений»
человека
Формирование
команд для
управления
Неинвазивный «Интерфейс мозг-компьютер»
Off-line
Классификация
изменений
биопотенциалов
Управление
внешними
устройствами
Визуальная обратная связь

Два способа провокации и выделения в ЭЭГ признаков намерения пользователя
Изменения в ЭЭГ в связи с фокусом внимания на внешние объекты
P300
в д р
П
а в р
О
н ф г
Л
в ы р
Е
п в м г
ИМК-коммуникаторы
ПОЛЕ
Изменения в ЭЭГ в связи с фокусом внимания на внутренние образы
Сжимаю левую кисть…. правую
ИМК-тренажеры
Л
П

….Hi, I’m happy…
ИМК-коммуникаторы
(12-25 символов в минуту с надежностью до 95%)
ИМК-коляска

Start 1 1 M
Impasse
Participant
“”””””
The participant should make as much as possible turns for one start
Управление автомобилем «без нервов и мышц»

Лаборатория нейрокомпьютерных интерфейсов на биофаке МГУ
Стабилизация внимания на основе технологии ИМК

ИМК– функциональная электростимуляция
Precise neuro-muscular electrical
stimulation of hand and fingers
Our electrode arrays facilitate specific flexion and extension of the fingers and also control the wrist.

Адаптивные миостимуляторы
Увеличить амплитуду движений в суставах кисти
Помочь «переучить» мышцы руки работать самостоятельно
Уменьшить частоту возникновения мышечных спазмов
Улучшить местное кровообращение
Предотвратить потерю мышечной массы
(атрофию)

Варианты практических реализаций ИМК в медицине и индустрии: нейрокоммуникаторы
Место неподвижного
пациента, оборудованное
Нейрокоммуникатором
-
Управление прикроватным манипулятором
-
Нажимание кнопок пультов управления по намерению
Рабочее место человека-оператора,
оборудованное Нейрокоммуникатором
-
Автоматическая коррекция решений оператора на основе анализа эмоционально-аффективной сферы с обратной связью
-
Опережающие действия

Тактильная стимуляция
Электростимуляция

Фундаментальные научные аспекты технологий ИМК
Ресурсы мозга по выработка навыков без нервов и мышц
Ресурсы мозга по созданию макросов языка общения напрямую между мозгом и средой
Ресурсы мозга по управлению потоками входной информации
Ресурсы ввода информации в мозг от
ИМК, в том числе и вне сенсорных каналов
Мозг на линии с внешним миром
Проблемные задачи
1. Создание ИМК замкнутого типа (технологии сенсорного и внесенсорного ввода обратной информации в мозг человека.
2. Разработка высоко производительных адаптивных алгоритмов распознавания ЭЭГ- образов «намерений» человека.
3. Создание языка макросов в контуре «Мозг-
Компьютер-Мозг» или «Мозг-Робот-Мозг»

ИМК-тренажеры
ИМК-коммуникаторы
Кровати
Коляски
Протезы
Аватары
Пульты
Манипуляторы
Буквопечать
ИМК-Р300
Более 2 млн пациентов
Человек в мире без действия
Прагматические аспекты технологий ИМК :
ИМК в медицине экзоскелеты
ИМК- ЭЭГ спектр
Реабилитация
Патронаж
ИМК-ФЭС
ИМК-БИС (NIRS)
ИМК-ТМС

Тренажерные 3D-манипуляторы, вертикализаторы, ТМ -стимуляторы
Stanescu Ioana, Dogaru Gabriela
NEW THERAPEUTIC PERSPECTIVES IN
NEUROREHABILITATION:
TRANSCRANIAL MAGNETIC STIMULATION
Balneo Research Journal Vol.5, No.2, May 2014
Magnetic Brain Stimulation Might Help Stroke Rehab?

Зрение-слух- тактильные
Глаз-мозг
«Эмоцио- нальные» ИМК
Человек - оператор
Человек в мультимедийном мире
Прагматические аспекты технологий ИМК :
ИМК - нейроэргономика
Гибридные
ИМК
Мультимодаль ные ИМК
«Вегетатив- ные» ИМК
ИМК-управление потоками информации
ИМК НЕЙРО-
ЭРГОНОМИКА

Может ли мозг в контуре ИМК управлять внешними устройствами без контроля сознания?


В контуре ИМК физическими «Исполнителями» команд мозга становятся не мышцы, а электронно
- механические устройства, управляемые непосредственно от генераторов ЭЭГ.

Под прямым управлением мозга могут быть не только рычаги или манипуляторы прямого физического действия, но, например, и структура потоков сенсорной информации

В парадигме ИМК вскрываются ранее неизвестные ресурсы мозга по выработке навыков взаимодействия с внешней средой без использования мышц, только на основе управления генераторами электрической активности мозга.

В парадигме ИМК также тестируются ресурсы мозга по созданию макросов языка общения между мозгом и внешним исполнительными устройством: Паттерн мозга –
Команда –
Паттерн результата.

В парадигме ИМК рассматривается проблема ввода информации в мозг от ИМК, в том числе и вне сенсорных каналов.
Эвристические аспекты исследований в парадигме технологий «Интерфейс мозг-компьютер»

перейти в каталог файлов


связь с админом