Natural User Interface подразумевает полный отказ человека от использования периферийных устройств ввода для работы с компьютерными системами. Мышь, клавиатура, джойстик — все эти технологии являются противоестественными.
Современные клавиатуры имеют раскладку QWERTY, которая была изобретена в 1873 году Кристофером Скоулзом для первой печатной машинки. Изначально клавиши были расположены в ином порядке, но первые испытания показали, что человек способен довольно быстро достичь огромной скорости печати с одним побочным эффектом: молоточки, отбивающие буквы, часто сталкивались друг с другом и заклинивали механизм печатной машинки, делая работу невозможной. Поэтому Скоулз был вынужден сознательно изменить раскладку, сделать менее удобной для оператора. Выходит, что такой привычный для нас интерфейс взаимодействия с компьютером, как клавиатура, перекочевавшая даже на передовые сенсорные планшеты,— архаизм, искусственно ограничивающий человеческие возможности.
Не вовремя
Нельзя сказать, что никто не пытался изменить существующую клавиатуру, напротив, попыток было множество — энтузиасты предлагали изменить порядок букв, разделяли рабочие зоны, было несколько смелых бескнопочных концептов, например в проекте под названием DataHand System (посмотрите данный термин в Google-картинках, очень любопытно выглядит проект!). Одним словом, оригинальных идей появлялись тысячи. Собственно, о беспроводном общении с ПК еще 25 лет назад говорили Билл Гейтс и Стив Джобс. Но все эти идеи до начала 2000-х терпели фиаско по трем причинам. Первая — человеческая лень: никто не хотел переучиваться на новые методы ввода текста и быть белой вороной в QWERTY-стае. Вторая: монетизация этих идей на фоне подобного консерватизма была проблемной. Но самая главная — психологическая: человек морально не был готов совместить реальность и виртуальность. Руководитель группы экспертов usability компании Microsoft Меган Донахью рассказывает: "До поры до времени интерфейсы компьютеров и мобильных устройств имитировали объекты реального мира. Ведь сперва у человека был стол, на нем лежала бумага, инструменты — отсюда, собственно, и пришло понятие десктопа, экранного рабочего стола. Чтобы человек как-то привык к техническим удобствам, плавно перешел от стола деревянного к столу экранному.
Но через какое-то время подросли новые дети, выросшие изначально в цифровом мире. Им все равно — стол, не стол... Они воспринимают цифровой мир как он есть и не нуждаются в том, чтобы элементы цифрового мира были похожи на элементы мира физического, реального. То есть графический пользовательский интерфейс отныне не обязан иметь сходство с традиционной реальностью — следствием этого явилось развитие управления с помощью жестов, с помощью речи и т. д.— это этап, на котором мы находимся сейчас".
Компьютерные системы должны были достигнуть определенной степени распространенности (то есть доступности самым широким слоям населения, а не только профессионалам). В этом смысле переломным стал 2006 год: американец Кристиан Мур основал открытое сообщество инженеров-разработчиков с целью создать принципиально новый формат работы с компьютерным контентом: научить компьютер распознавать движения человеческого тела, определять голос и совмещать два мира — виртуальный и реальный. В 2008 году компания Microsoft на конференции Predicting the past, назвала NUI новой революционной ступенью развития компьютерных интерфейсов, а 17 апреля 2008 года уже продемонстрировала первые демонстрационные образцы NUI, прообразы Microsoft Surface и Microsoft Kinnect для Xbox360. Надо сказать, что вклад Microsoft в развитие NUI очень велик — по сути, компания и является локомотивом этой технологии, которая объективно последние несколько лет черпает силы не столько в энтузиазме сторонних инженеров, сколько в финансовых и интеллектуальных возможностях корпорации. И интерес Microsoft понятен: создатель рыночного сегмента всегда собирает с него сливки.
NUI что
Собственно, сливки уже снимаются: за первый год существования сенсорного модуля Kinnect для приставки Xbox 360 было продано более 10 млн экземпляров — девайс даже занесли в Книгу рекордов Гиннесса как "самый быстро продаваемый электронный потребительский прибор". Kinnect на данный момент является самым ярким представителем NUI — после его подключения к приставке использование пульта для игр становится совершенно бессмысленным. Специальный видеосенсор после короткой одноразовой калибровки (настройки под конкретного человека) начинает превосходно распознавать все движения и перемещения игрока в трехмерном пространстве. На выставке E3, что прошла этим летом в Лос-Анджелесе, Lucas Arts совместно с Microsoft показали демо-версию игры Star Wars Kinnect, в которой игрок управляет силой и джедайским мечом естественными для всех поклонников саги движениями (в YouTube выложены сотни роликов с выставки, посмотрите — это впечатляет!). Но игры лишь самый очевидный, частный пример применения технологии. Сенсор под руководством программного интерфейса FAAST уже адаптирован под PR-нужды. Его, например, можно встретить в витрине Банка Москвы, что на Тверской улице напротив мэрии. Клиенты банка могут получать информацию об услугах в интерактивном режиме: никаких мышей и клавиатур — только жесты и звук. Любопытно, что сегодня NUI уже способен распознавать человеческую речь даже в шумном помещении, например в ресторане — в этом видеоролике один из ведущих ученых в области разработки аудиоинтерфейсов, работающий в научно-исследовательском подразделении Microsoft Research, Иван Ташев, показывает, что технология способна вычленять ключевые слова из речи пользователя и реагировать на нее по-разному в зависимости от того, к кому обращается человек — к нам или системе (http://tinyurl.com/dyc24jd).
Новая версия смартфона Apple iPhone 4S имеет в своем инструментарии Macintosh-видение NUI под названием SIRI — электронного помощника, воспринимающего речь пользователя и способного обеспечить быстрое и естественное голосовое взаимодействие со многими приложениями, включая напоминания, погоду, акции, передачу сообщений, электронную почту, календарь, контакты, примечания, музыку, часы, веб-браузер и карты. В настоящее время SIRI поддерживает английский, немецкий и французский языки. Остальные — на подходе. Однако Apple никогда не развивали NUI самостоятельно, сосредоточившись на захвате рынка смартфонов: SIRI была создана независимой командой разработчиков под руководством Дага Китлаусса, и до покупки Apple в феврале 2010 года ее выход предполагался сразу под все ключевые платформы — iOS, Blackberry и Android. Но через приобретение технологии Apple монополизировала SIRI. Нам уже привычна ситуация, в которой Apple выступает в роли инноватора и локомотива отрасли, когда речь идет о каналах дистрибуции контента, эргономике интерфейсов и так далее. Но NUI имеет все шансы перевернуть все с ног на голову в течение ближайшего года-двух: новая операционная система Windows 8 уже поддерживает NUI в исходном коде системы. Это означает, что всеми привычными операциями, такими как запуск приложения, открытие и закрытие окон, абсолютно всеми операциями в Adobe Photoshop, веб-навигацией, музыкой, фильмами и файлами, то есть всем, для чего ранее нужна была клавиатура и мышь, теперь можно управлять руками напрямую — прикосновениями. На сайте комьюнити NUI в разделе "блог" (http://nuigroup.com/log) можно посмотреть видеоролик, демонстрирующий текущие возможности интерфейса — он распознает каждый из десяти пальцев отдельно, понимает вращательные и перемещательные движения — разработчики показывают активный геймплей Starcraft II без применения мыши — это было невозможно всего год назад. То есть на сенсорном уровне NUI позволяет полностью отказаться от клавиатуры и мыши. В R&D-центре Microsoft в Редмонде журналистам этим летом показывали концепцию цифрового дома с интеграцией NUI в управление бытовой техникой, покупками и заказами — всеми аспектами жизни человека.
Интерактивная поверхность
Особенность сенсорных поверхностей, интегрированных с NUI, состоит в том, что они способны распознавать конкретные предметы, установленные на экран. Например, если поставить на электронный стол Microsoft Surface игрушечную машинку, на экране возникнет автомобильная трасса с интерактивной игрой. Стоит установить небольшой игрушечный женский сапог — и моментально откроется веб-страница с сайтом производителя совершенно реальной обуви. Да, на данном этапе развития технологий в эти предметы должна быть интегрирована специальная метка. Но распознавание реальных предметов и их полная идентификация с базами данных Bing, Google и "Яндекс" — вопрос времени. Так же, как интеграция свободного голосового управления и поиска в базовый функционал операционных систем. NUI призван стереть границу между реальным и виртуальным, искусственным и настоящим. Настолько, насколько это позволяют границы сознания. И этот процесс уже не остановить.