В нашей лаборатории нейроэргономики и интерфейсов мозг — компьютер Курчатовского комплекса НБИКС (нано-био-инфо-когно-социо)-технологий разработан ряд новых методов управления техническими устройствами с помощью электрических сигналов мозга. В частности, нам удалось создать первый интерфейс глаз — мозг — компьютер, работающий на основе анализа электроэнцефалограммы в моменты кратковременных фиксаций взгляда на экранных кнопках.
По моему велению, по моему хотению
Нейроинженерные технологии, позволяющие человеку управлять компьютерами и робототехникой с помощью "силы мысли" — одна из наиболее заметных областей на стыке науки и техники. Каждый год публикуется все больше исследований, связанных с разработкой новых разновидностей интерфейсов мозг — компьютер со все более впечатляющими результами.
Если опубликованное в 2003 году в журнале Neuropsychologia двухстраничное письмо парализованный пациент писал целых шесть месяцев, то в 2010 году журнал Amyotrophic Lateral Sclerosis напечатал статью о полностью парализованном пациенте, который с помощью ИМК вел исследования в области молекулярных нейронаук и руководил небольшой научной лабораторией по электронной почте. Уже больше пяти лет свободно продаются ИМК, с помощью которых можно играть в компьютерные игры без единого движения — одной лишь "силой мысли", и по цене они вполне доступны многим геймерам.
В целом же, при взгляде со стороны могут сложиться весьма оптимистичные представления о возможностях прямого взаимодействия между техническими устройствами и мозгом их пользователя. Но в этой, казалось бы, исключительно позитивной картине легко не заметить один нюанс.
Трепанация черепа с семью степенями свободы
Наиболее яркие исследования, связанные с ИМК, которым посвящены статьи в самых престижных научных журналах, — это так называемые инвазивные ИМК. Для "подключения" их к мозгу необходима нейрохирургическая операция, чаще всего — вживление электродов непосредственно в мозг. Это серьезный риск, неприемлемый для здоровых людей и нежелательный даже для тяжелых пациентов. Кроме того, стоимость таких операций на людях очень высока. Поэтому исследования с использованием инвазивных ИМК в течение еще многих лет будут выполняться в основном на животных.
Общедоступные коммерческие ИМК, как нетрудно догадаться, это неинвазивные ИМК. Их электроды считывают идущие из мозга электрические сигналы прямо с поверхности кожи головы. Иными словами, в этих ИМК используется та самая электроэнцефалограмма (ЭЭГ), которую сейчас требуют при оформлении медицинской справки для ГИБДД.
Что такое интерфейс мозг — компьютер (ИМК)
Еще в 2011 году на международной конференции по ИМК в австрийском городе Граце отмечалось, что ни в одном эксперименте не было показано наличия принципиальной разницы между возможностями инвазивных и неинвазивных ИМК, и этому было дано вполне логичное объяснение. И те, и другие ИМК получают сигнал только с коры мозга, из-за чего во взаимодействие с ними не могут вовлекаться нижележащие структуры головного и спинного мозга, отвечающие за все нюансы естественного управления движениями. Но уже через год исследователи из Питтсбурга под руководством Эндрю Шварца, известного специалиста по моторной физиологии, смогли обучить парализованную пациентку, в кору которой были вживлены два 96-канальных блока электродов, управлению роботизированным протезом руки с семью степенями свободы. Ничего подобного при использовании неинвазивных интерфейсов никогда не удавалось достичь. И, что особенно важно, существует мало оснований надеяться на то, что в случае неинвазивных ИМК сопоставимый прогресс вообще возможен.
Сто тысяч и один нейрон
При вживлении электродов в кору ИМК может раздельно анализировать сигналы, идущие от одиночных нейронов. Мозг, "почувствовав", что у него появилась возможность выполнять действия во внешней среде с помощью изменения этих сигналов, может реализовать эту возможность, модифицировав работу, по крайней мере, некоторых из нейронов, к которым подключился интерфейс.
Это непростая задача, ведь работа каждого из нейронов тесно связана с работой еще множества других: активирующих или тормозящих этот нейрон, а также тех, кого активирует или тормозит он сам. Однако, как показали эксперименты группы Эндрю Шварца, кора мозга обладает очень высокой пластичностью, и специальная тренировка позволяет человеку за несколько месяцев в достаточной мере обучить нейроны и создать на их основе эффективный "выход" мозга сразу с несколькими параллельными каналами взаимодействия с ИМК.
При использовании ЭЭГ, регистрируемой на поверхности головы, подключение к отдельным нейронам невозможно. Для того чтобы в ЭЭГ возникло совсем небольшое изменение амплитуды электрического сигнала, требуется синхронная активация десятков и сотен тысяч нейронов. В противном случае сигнал не будет пропущен "фильтром", который состоит из других нейронов, кровеносных сосудов, мозговых оболочек, костей черепа, подкожной ткани и кожи. Поэтому создание даже двух параллельных каналов взаимодействия на основе ЭЭГ выглядит крайне сложной задачей.
Слишком много шума
Как же удается обеспечить хоть какое-то функционирование неинвазивных ИМК? Ведь та переписка парализованных людей с родственниками, коллегами и разработчиками ИМК, о которой говорилось выше, стала возможной как раз благодаря использованию интерфейсов, снимающих ЭЭГ с кожи головы.
Дело в том, что уже в первых исследованиях с регистрацией ЭЭГ, проводившихся за много десятилетий до появления ИМК, было показано, что при мысленном выполнении человеком многих задач в этом сигнале происходят настолько крупные изменения, что они видны даже невооруженным глазом. Правда, детальные исследования показали, что специфичность связи этих изменений и выполняемых задач не очень высока. Например, большинство видов умственной деятельности вызывает более или менее генерализованное подавление альфа-ритма (колебаний с частотой около 10 Гц) и усиление бета-ритмов (более высокочастотных колебаний).
Но в компьютерной технике, да и в коммуникации между нейронами с помощью всего лишь двух уровней сигнала в канале связи (единиц и нулей) можно кодировать огромные объемы информации. И некоторые из наиболее эффективных неинвазивных ИМК как раз и используют этот двоичный принцип.
Что кодируется в ИМК
К сожалению, невозможно быстро и часто переключаться от одной мысленной задачи к другой, и это резко ограничивает скорость работы ИМК, которым управляют с помощью мысленных задач. Разумеется, разработчики нередко пытаются заменить дискретное управление градуальным, которое могло бы резко повысить объем передаваемой через ИМК информации, но оно оказывается слишком неточным. К тому же, из-за неизбежной сильной "зашумленности" ЭЭГ-сигнала электрической активностью разнообразных нейронных систем, непосредственно не участвующих в управлении, даже распознавание дискретных команд обычно требует неоднократного повтора мысленной задачи или выполнения ее в течение достаточно большого времени (по крайней мере несколько секунд). Только таким путем удается в нужной мере увеличить отношение сигнал — шум и достичь приемлемых значений точности.
Глаз — мозг — компьютер
Можно ли сделать доступные и безопасные неинвазивные ИМК практически полезными при всех тех ограничениях, о которых было сказано? Именно над этим сейчас работают исследователи и разработчики во многих странах мира. Важное направление такой работы — адаптация ИМК к задачам, в которых двоичное кодирование и низкая скорость срабатывания интерфейса приемлемы.
Второе направление — это объединение возможностей ИМК и других современных технологий взаимодействия человека и техники. Именно таким объединением и занимается наша лаборатория: мы разрабатываем гибридные неинвазивные интерфейсы глаз — мозг — компьютер (ИГМК).
В ИГМК объединяются интерфейс мозг — компьютер (ИМК) и управление с помощью перемещений и фиксаций взгляда — как правило, на основе айтрекинга (видеоокулографии), точного отслеживания взгляда, использующего анализ видеоизображения глаза. Как и неинвазивные ИМК, такие технологии имеют свои ограничения. Их главная проблема носит название проблемы прикосновения Мидаса.
Пользователь айтрекингового интерфейса приобретает необычные способности. Так, он может управлять компьютером с помощью одних лишь фиксаций взгляда на экранных кнопках. Но за эти способности ему приходится платить отдачей нежелательных команд, которая происходит при естественных, непроизвольных фиксациях взгляда — как царь Мидас из греческого мифа превращал в золото все, к чему прикасался. Традиционные подходы к решению проблемы прикосновения Мидаса делают айтрекинговое управление в большинстве его приложений медленным и неудобным. А вот ИГМК потенциально способен дать более универсальные решения, основанные на ЭЭГ-маркерах управления, распознаваемых в онлайн-режиме с помощью ИМК-технологии.
Инвазивность vs неинвазивность
Регистрация сигнала от электродов, находящихся под черепом, но не в самом мозге, — так называемая электрокортикограмма (ЭКоГ), — значительно безопаснее и дешевле, чем использование электродов, вживленных в мозг.
В последние годы число исследований работы ИМК на основе ЭКоГ в мире выросло. В том числе и потому, что появилось много людей, которым временно устанавливают электроды для ее регистрации с целью уточнения границ очага поражения при тяжелых формах эпилепсии.
В ЭКоГ, как и в ЭЭГ, сигналы от отдельных нейронов неразличимы, но она дает возможность более детально выделять компоненты сигнала. Соответственно, ИМК на основе ЭКоГ оказываются намного более эффективными, чем на основе ЭЭГ. Но все-таки это скорее количественные, а не качественные различия.
ИГМК появились в мире лишь в последние годы, и до сих пор расширения их возможностей не удавалось достичь из-за слишком механистического сопряжения существующих технологий.
Мозг играет взглядом
Наша лаборатория стремится уходить от механистических подходов и разрабатывать гибридные интерфейсы, составные части которых дополняли бы друг друга максимально эффективно. Так, в нашем первом ИГМК, где в ИМК-компоненте для отдачи команды роботу применялось распознавание реакций мозга на подсветки, мы использовали то обстоятельство, что попытка отдачи команды путем счета подсветок начинается с перемещения взгляда в позицию, где подсветки возникают. С использованием детекции этого перемещения взгляда мы достигли нетипичного для неинвазивного ИМК сочетания низкой частоты ошибочных срабатываний (в среднем один раз в 10 минут) и сравнительно высокой скорости отдачи команды (за 3.6 секунды).
В последующих же работах мы стали использовать принцип "пассивного ИМК". Такие ИМК не требуют от пользователя выполнения специальных мысленных действий — они определяют, когда и какую команду следует отдать, посредством анализа ЭЭГ и учета контекста текущей деятельности.
Чтобы разобраться, какие ЭЭГ-маркеры можно использовать в ИГМК, мы ведем регистрацию ЭЭГ на фоне управления испытуемыми компьютером с помощью фиксаций взгляда. При этом мы, как правило, используем "взглядоуправляемые" игры, специально разрабатываемые нами на основе традиционных компьютерных игр.
Мы записываем ЭЭГ, и когда управление включено, и когда оно выключено, — то есть когда испытуемый может свободно рассматривать то, что он видит на экране, не опасаясь, что компьютер воспримет продолжительную фиксацию взгляда как подачу команды. Проводя сравнительный анализ этих ЭЭГ, мы находим те компоненты мозговой активности, которые характерны для управления. С помощью пассивного ИМК, нацеленного на выделение таких компонентов, управляющие фиксации уже удается отличать от спонтанных.
От управления взглядом к тренингу внимания
В настоящее время мы ведем эксперименты с онлайн-версией ИГМК, разработанной с учетом наших первых результатов. Испытуемый играет в "глазоуправляемую" версию игры "Линии", переставляя шарики с помощью фиксации взгляда — сначала на шарике, а затем в той позиции, в которую он хочет его переместить. Во время нескольких первых игр ЭЭГ регистрируется в периоды осуществления управления и в периоды, когда оно отключено, чтобы обучить статистический классификатор, используемый в ИГМК, — как и в обычных ИМК, для эффективного распознавания попыток отдачи команды классификатор должен настроиться на индивидуальные особенности пространственно-временных характеристик мозговой активности данного пользователя.
Затем управление переводится в режим постоянного включения, а для предотвращения непроизвольного срабатывания используются два способа борьбы с "проблемой прикосновения Мидаса". Первый из них стандартный, заключающийся в повышении минимальной длительности фиксаций взгляда, требующихся для срабатывания интерфейса. Второй использует классификацию ЭЭГ, регистрирующейся во время фиксации, и в случае, если классификатор относит этот участок ЭЭГ к классу, соответствующему управлению, интерфейс срабатывает на полсекунды раньше, чем при использовании стандартного способа.
Классификатор в нашем эксперименте настраивается так, чтобы его ошибочные срабатывания, обычно раздражающие игрока и снижающие вовлеченность в процесс управления, случались как можно реже. Сделать это можно за счет повышения вероятности пропуска отдачи команды — ведь в этом случае интерфейс все равно сработает, как только будет достигнут порог фиксации, соответствующий стандартной методике.
Наша гипотеза заключается в том, что быстрое срабатывание ИГМК все же будет ощущаться участниками эксперимента как более желаемое и их мозг постепенно научится при отдаче команд вырабатывать все более четко распознаваемые классификатором компоненты ЭЭГ.
Есть основания думать, что это будет происходить путем повышения концентрации внимания или как-то сопряжено с повышением концентрации внимания. И тогда мы получим не только методику для эффективного управления с помощью ИГМК, но и методику тренировки внимания и, возможно, других когнитивных функций.
Управление техникой "силой мысли" уже сегодня стало вполне доступным благодаря интерфейсам мозг — компьютер. Скорость и точность такого управления пока оставляет желать лучшего. Однако ведущиеся сейчас исследования позволяют надеяться на превращение интерфейсов мозг — компьютер в практически полезную технологию уже в недалеком будущем.
иллюстрация Мария Краснова-Шабаева