Компьютерное зрение и нейросети понадобятся алгоритму, разработанному учеными Университета ИТМО, чтобы по видео со смартфона оценить психоэмоциональное состояние человека во время медитации. Алгоритм определяет ровность дыхания, положение тела и движение конечностей.
Фото: Getty Images
Фото: Getty Images
Медитация и высокие технологии — на первый взгляд две совершенно несочетающиеся вещи. Тем не менее мобильные приложения, компьютерные алгоритмы так глубоко вошли в нашу жизнь, что первые инструменты, к которым прибегают люди, желая заняться йогой или медитацией,— это зачастую поисковик и смартфон.
«Из-за коронавируса интерес к медитации сильно вырос,— рассказывает доцент факультета информационных технологий и программирования Университета ИТМО, старший научный сотрудник СПб ФИЦ РАН Алексей Кашевник.— Мы смотрели статистические данные: количество запросов в “Яндексе” на поиск различных приложений для медитаций в феврале—апреле значительно подросло. Население интересуется этими практиками, которые дают возможность мозгу отдохнуть от нашей повседневности, стресса, гонки».
Группа ученых Университета ИТМО решила создать приложение, которое поможет отследить прогресс человека на пути расслабления и достижения психоэмоционального состояния, называемого медитацией. Для начала ученые собрали данные: они попытались определить, как внешняя активность человека — его дыхание, движения, позы — связана с его внутренним состоянием. В качестве консультантов привлекались преподаватели йоги и медитации.
«Пока у нас небольшая выборка, и говорить, что мы полностью решили задачу,— нельзя,— предупреждает Кашевник.— Мы проанализировали пока всего около 50 видео. Тем не менее первичные данные показывают, что есть совершенно четкая корреляция между определенными паттернами поведения и успешностью практики. Эти паттерны может увидеть нейросеть. Это ссутуливание, наклон корпуса человека в какую-то сторону, неритмичное дыхание, движение частей тела».
Первоначально работа шла в полуавтоматическом режиме: создатели отсматривали видео медитаций и строили графики движения частей тела, определяли, в каких позах сидят люди, и присваивали каждому параметру определенное количество положительных и отрицательных очков, которые позволяют нейросети в дальнейшем оценивать успешность занятия. Процесс удалось автоматизировать.
«Понятно, что нейронная сеть никогда не даст ответа, что этот человек хорошо медитирует, а тот — плохо,— продолжает Кашевник.— Но нейронная сеть может дать ответ о прогрессе, которого он достиг за несколько месяцев занятий. Когда мы начинаем чем-то увлекаться, что-то пробуем, но не получаем обратной связи, это может снизить наш интерес к увлечению». Ученые уже создали онлайн-ресурс, куда можно загрузить видео медитативной тренировки, чтобы оценить ее успешность с помощью набора алгоритмов. В дальнейшем планируется свести их работу в единое мобильное приложение.
Помимо сугубо практического значения работа имеет и теоретическое. Как пишут ученые, им удалось подтвердить изначальную гипотезу, что внутреннее психоэмоциональное состояние человека имеет внешние проявления в определенных паттернах поведения.
«Human Psychophysiological Activity Estimation Based on Smartphone Camera and Wearable Electronics»; A. Kashevnik, M. Kruglov, I. Lashkov, N. Teslya, P. Mikhailova, E. Ripachev, V. Malutin, N. Saveliev, I. Ryabchikov; Future Internet, 2020/10.3390/fi12070111