Работа отдела нейрокогнитивных технологий Курчатовского НБИКС-центра ведется на пересечении сразу многих направлений наук и технологий, входящих в спектр НБИКС,— это и прикладная математика, и нейрофизиология, и когнитивная психология, и даже лингвистика.
Исследователям удалось разработать интерфейс "мозг-компьютер", выявляющий волну ожидания на электроэнцефалограмме с помощью специальных математических алгоритмов, и разрешающий компьютеру откликаться только на задержки взгляда, в которых эти алгоритмы ее обнаруживают
Фото: Юрий Макаров
В отделе нейрокогнитивных технологий изучают механизмы работы человеческого мозга, психики и коммуникации между людьми и на основе этих исследований разрабатывают новые технологии. Одна из наиболее ярких разработок отдела последнего времени — конструктор эмоционально окрашенной речи для программирования небольшого робота.
Эмоциональная машина
Робот (он тоже разработан в отделе) "произносит" заданный ему текст, снабженный специальной "эмоциональной" разметкой. Эта разметка определяет не только интонацию, с которой должны произноситься слова, но и то, какой мимикой и жестами они сопровождаются. У него время от времени меняется выражение "лица" и очень естественно двигаются голова и ручки.
"Окрашивание" речи робота эмоциями производится с помощью специального языка BML, который используется в программировании поведения виртуальных антропоморфных персонажей, например, компьютерных игр. Однако само по себе такое программирование не даст естественного поведения персонажа: если подбирать сочетания речи с жестами и мимикой наугад, они часто выглядят фальшивыми. Сотрудники отдела долгое время записывали на видео и исследовали примеры поведения сотен людей в диалоге и монологе в естественных ситуациях, и именно это позволило им разработать такие кирпичики эмоционального речевого и жестово-мимического поведения, из которых можно легко собирать естественное поведение робота.
Не так давно с роботом пообщалась группа школьников. Им была поставлена задача научить робота с выражением читать стихи и произносить монологи. Хотя большинство ребят впервые знакомились с языком BML, они освоили программирование робота очень быстро. После нескольких часов таких занятий школьники уже смогли углубиться в нюансы декламации при использовании различных приемов интонации, мимики и жестов. Они самостоятельно определяли, когда робот выглядит неумеренно пафосным и смешным и какие приемы "программирования" эмоций делают его речь, напротив, наиболее убедительной.
Руки прочь от компьютера
Другое направление работы отдела нейрокогнитивных технологий, в котором объединяются совершенно, казалось бы, несоединимые области фундаментального знания и техники,— это разработка новых типов человеко-машинных интерфейсов — устройств, с помощью которых человек управляет различной техникой. Сегодня существуют два новых вида таких интерфейсов, позволяющих взаимодействовать с компьютером без помощи рук,— это системы управления с помощью взгляда и системы управления с помощью сигналов мозгового происхождения: интерфейсы "мозг--компьютер" (ИМК). В первую очередь такие интерфейсы необходимы для помощи парализованным людям, но все чаще рассматривается возможность их использования и здоровыми людьми.
ИМК и систему управления с помощью взгляда обычно разрабатывают в разных лабораториях, но в отделе нейрокогнитивных технологий Курчатовского НБИКС-центра занимаются обоими интерфейсами. Здесь также создают гибридные интерфейсы, объединяющие положительные стороны и тех и других.
Взгляд вместо мыши
Прежде чем навести курсор на ссылку или "кнопку" на компьютерном экране и сделать клик, мы сначала смотрим на них, ненадолго задерживая взгляд, иначе мы бы постоянно промахивались. После того как решено, куда кликать, нам еще нужно взять в руки мышку, подвести курсор к цели, проверить, точно ли мы в нее попадаем...
Не слишком ли много лишних действий, если место на экране, по которому мы хотим кликнуть, можно определить уже по направлению нашего взгляда? Действительно, технологии, которые это делают, существуют: в их основе лежит отслеживание направления взгляда с помощью специальных видеокамер. Эти технологии все шире используются в ассистивных устройствах, дающих парализованным людям возможность управлять компьютером и с его помощью общаться со всем миром.
Но как только взгляд приобретает способность "кликать", подобно компьютерной мыши, он начинает делать "клики" на каждом объекте, заинтересовавшем пользователя. Это так называемая проблема прикосновения Мидаса, получившая название по имени царя Мидаса из древнегреческих мифов, который превращал в золото все, к чему прикасался. Избежать ее очень сложно: глазу свойственно автоматически наводиться на то, что нас заинтересовало, и мы чаще всего совершенно не замечаем эту постоянно идущую работу.
И вот тут на помощь приходит интерфейс "мозг--компьютер". Когда пользователь взаимодействует с компьютером, он ожидает, что в ответ на его действия будет что-то происходить — например, будет меняться цвет ссылок и кнопок. А состояние ожидания сопровождается возникновением в электрических сигналах, идущих из мозга — электроэнцефалограмме, особой волны, которая так и называется — волна ожидания.
Специалисты отдела нейрокогнитивных исследований Курчатовского НБИКС-центра в ходе работы, в которой участвовали и студенты московских вузов, впервые выяснили, что именно такая волна возникает и при взаимодействии с компьютером с помощью взгляда. Исследователям удалось разработать интерфейс "мозг--компьютер", выявляющий ее в коротких (менее секунды) отрезках электроэнцефалограммы с помощью специальных математических алгоритмов и разрешающий компьютеру откликаться только на задержки взгляда, в которых эти алгоритмы ее обнаруживают. В сочетании с распознаванием направления взгляда получается то, что в отделе называют интерфейс "глаз--мозг--компьютер".