Айтрекеры стали зорче
Разработка ученых из Сколтеха и Центрального университета получила международную награду
Ученые и студенты из Лаборатории интеллектуальных сенсорных систем Центрального университета и Сколтеха разработали новый способ значительного повышения точности устройств для отслеживания движения глаз (айтрекеров) в сложных условиях. Новая разработка российских ученых оказалась в два раза точнее других известных аналогичных методов. Его внедрение позволит значительно улучшить эффективность и масштабировать применение айтрекеров в различных сферах: в медицине для оценки скорости перемещения взгляда пациента во время реабилитации, для оценки паттернов поведения в неврологии, в киберспорте и даже для совершенствования пользовательского опыта при взаимодействии с графическим интерфейсом.
Фото: iStock
Фото: iStock
Инновационную разработку отметили на международной конференции IEEE REEPE наградой Best Paper Award как лучшую статью.
Актуальность и практическая значимость
Устройства для отслеживания движения глаз называются айтрекерами (с англ. eye trackers). Айтрекеры, как правило, устанавливаются рядом с монитором и состоят из инфракрасного (ИК) излучателя, освещающего лицо, и камеры, считывающей ИК-блик на зрачке. Программное обеспечение (ПО) преобразует считанные блики в координаты на экране монитора. Это дает возможность анализировать перемещение взгляда по экрану монитора.
Однако большинство существующих решений, доступных для массового пользования, снижают свою точность в нестандартных условиях, например, если человек в очках или линзах или на него светит яркий свет, который создает блики. В таких случаях прибор зачастую не может сфокусироваться. Низкая точность айтрекеров в таких условиях препятствует развитию технологии.
Метод вычитания: а) изображение с темным зрачком; b) изображение со светлым зрачком; c) результат вычитания кадров. Применение при сложном условии — яркое верхнее освещение, которое формирует блики
Метод вычитания: а) изображение с темным зрачком; b) изображение со светлым зрачком; c) результат вычитания кадров. Применение при сложном условии — яркое верхнее освещение, которое формирует блики
Ученые из Центрального университета и Сколтеха нашли способ решения проблемы и предложили новый алгоритм отслеживания взгляда с помощью айтрекера. Преимущество нового подхода — в высокой скорости и точности определения положения зрачка в сложных условиях: при ношении очков, при ярком потолочном освещении и при незначительных движениях головы.
Суть исследования
Предложенный алгоритм основан на комбинации двух этапов. Сначала с помощью специальной ИК-подсветки (свет, который направлен на человека в инфракрасном диапазоне спектра) снимаются два кадра — один со «светлым» зрачком, а второй — с «темным» зрачком. Их разность позволяет выделить зрачок и блики, что значительно упрощает дальнейшую обработку движения глаз.
На втором этапе происходит группировка выделенных объектов методом K-средних — это итеративный алгоритм группировки, который разбивает набор данных на заранее заданное количество классов, например, зрачок, блики, фон. На основе этих данных и процедуры калибровки алгоритм отслеживания движения глаз рассчитывает точку взгляда на экране монитора.
Работа нового алгоритма обнаружения зрачка и отблеска: а) область интереса (ROI); b) метод K-средних; c) контур зрачка; d) обнаруженные центры
Работа нового алгоритма обнаружения зрачка и отблеска: а) область интереса (ROI); b) метод K-средних; c) контур зрачка; d) обнаруженные центры
Тестирование нового подхода проводилось в контролируемых условиях: испытуемые находились на расстоянии 50–60 см от камеры, использовались три сценария — без очков и с лабораторным потолочным освещением, в очках и со светом, без очков и света. Результаты показали, что новый метод позволяет значительно усовершенствовать работу айтрекеров как со стороны скорости обработки кадров, так и в части точности при сложных условиях. Так, точность определения зрачка улучшилась при ношении очков на 64%, а при ярком освещении — на 27%. В рамках исследования итоговая ошибка определения точки взгляда составила около 16 пикселей на экране Full HD, что почти в два раза меньше, чем у более ранних подходов.
Андрей Сомов, профессор Центрального университета, руководитель лаборатории интеллектуальных сенсорных систем Центрального университета, доцент Центра инженерных систем и наук Сколтеха:
«Новый подход к работе устройств для отслеживания движения глаз сделает технологию доступной для массового применения благодаря минимизации ошибок. Нам удалось добиться увеличения точности работы айтрекера в сложных условиях, что позволит расширить функционал и применение таких устройств в большем количестве приложений. Важно, что в исследовании приняли участие молодые ученые, которые продолжат работать в лаборатории над усовершенствованием алгоритмической части айтрекера и ее валидацией на реальных устройствах в сложных условиях».
Дарья Печенова, студентка магистратуры Сколтеха «Инженерные системы: аэрокосмос, робототехника, цифровое проектирование», научный сотрудник лаборатории Центрального университета, соавтор исследования:
«Представьте, как невролог оценивает пациента с подозрением на болезнь Паркинсона по паттернам взгляда, а педагог видит, на каких словах ребенок при чтении задерживает взгляд, чтобы на следующих занятиях проработать их. Именно к такому эффекту массового и широкого применения айтрекеров может привести наш новый алгоритм. Это мое первое исследование в области интеллектуальных инженерных систем. Особенно ценно, что результаты были представлены на международной конференции и получили высокую оценку, включая награду за лучшую научную работу».