«ИИ не должен быть слишком уверенным»

Искусственный интеллект (ИИ) на Кубани постепенно превращается в рядовой рабочий инструмент: по данным «Авито Работы», его в той или иной мере используют уже 49% жителей региона. Статистика hh.ru также подтверждает этот тренд — за год количество вакансий с требованием навыков работы с ИИ в Краснодарском крае выросло на 71%, превысив 960 предложений только в первом квартале. Однако, если сегодня нейросети в основном заняты генерацией текстов, то следующим рубежом, по мнению экспертов, станет выход алгоритмов за пределы монитора — к управлению различными устройствами. О том, почему голосовой ИИ сложнее привычного чат-бота, как научить языковую модель безопасно управлять реальными устройствами, рассказал Даниил Жилкин, инженер-программист, специализирующийся на архитектуре систем на основе ИИ.

— Чат заканчивается текстом, а голосовой ассистент должен приводить к действию. Если чат-бот неправильно ответил на вопрос, человек это увидел, понял, что ответ не подходит, и может задать следующий вопрос. У голосового ассистента результат иной. Пользователь говорит: «Открой багажник», и система должна не просто понять смысл фразы, но и выполнить конкретную операцию. Здесь уже нельзя сказать, что ответ «примерно правильный». Багажник либо открылся, либо нет. Более того, если ассистент решил, что пользователь сказал что-то другое, он может совершить действие, которого человек не ожидал.

Поэтому при проектировании таких систем мы исходим из довольно простого принципа: лучше переспросить или отказаться от выполнения команды, чем сделать что-то лишнее.

— В определенных сценариях – именно так. Мы привыкли оценивать интеллект по тому, насколько много система умеет сделать. Но для устройства, которым человек управляет голосом, важна еще одна характеристика – насколько хорошо система понимает границы собственных возможностей.

— Человек может десятками способов сказать, что ему жарко. Он может попросить сделать прохладнее, открыть окно, уменьшить температуру или вообще выразиться неформально. Для языковой модели все эти формулировки могут означать одно и то же намерение.

Но автомобиль в конечном счете умеет выполнить конкретный набор команд. Поэтому перед инженером стоит задача перевести бесконечное разнообразие человеческого языка в конечный набор разрешенных действий.

Именно здесь возникает один из главных парадоксов современных голосовых систем: мы хотим дать человеку максимально свободный способ общения, но не можем дать машине такую же свободу действий.

— Это как раз то, чего делать не стоит. Чем больше полномочий получает модель, тем важнее становятся ограничения и проверка. Языковая модель должна иметь доступ к тем действиям, которые действительно нужны для решения задачи, и понимать контекст, в котором эти действия разрешены.

Но в любом случае мы не должны автоматически считать результат правильным. Действие должно проходить проверку. В архитектуре таких систем мне принципиально важно разделять способность модели предложить действие и механизм, который проверяет, имеет ли она право это действие выполнить.

Это позволяет не требовать от самой модели абсолютной безошибочности. Вместо этого мы строим систему, устойчивую к ее ошибкам.

— По крайней мере, он должен понимать его актуальные возможности. Причем речь идет не только о модели устройства в целом, а о конкретном экземпляре.

У одного автомобиля может быть люк, у другого – нет. У телевизора один набор возможностей, у колонки – другой.

Поэтому устройство должно сообщать ассистенту, что именно оно умеет. Система не может просто хранить универсальный список функций и предполагать, что они доступны всегда.

Иначе возникает ситуация, когда ассистент очень уверенно обещает человеку сделать то, чего конкретное устройство физически не умеет.

— Потому что экран снимает огромное количество неопределенности. Человеку можно показать несколько вариантов, вывести предупреждение, попросить нажать кнопку подтверждения. Голосом все это приходится делать словами.

Если система не поняла запрос, она должна задать уточняющий вопрос. Если действие требует подтверждения, подтверждение тоже нужно получить голосом. Если выполнить команду невозможно, нужно объяснить причину. При этом нельзя превращать каждое взаимодействие в длинный диалог. Важна краткость взаимодействия.

— Здесь и возникает движение в сторону локальной обработки. Облако дает большие вычислительные возможности, но локальная обработка позволяет уменьшить задержку, сохранить работоспособность без связи и в некоторых сценариях лучше контролировать данные.

Скорее всего, в будущем эти подходы будут сосуществовать. Для одной задачи выгоднее использовать облако, для другой – модель непосредственно на устройстве. Причем система должна сама выбирать подходящий вариант.

Это не означает, что облачные модели исчезнут. Просто устройство перестает быть пассивным терминалом, который всегда ждет ответа сервера.

— Языковая модель в классическом понимании получает информацию и формирует ответ. Агентная система получает возможность не только отвечать, но и выполнять последовательность действий. То есть появляется цикл «понять – сделать – проверить – продолжить».

Но здесь особенно важны границы полномочий. Если просто дать модели доступ ко всему продукту, мы получим систему, которая способна выполнять много действий, но не обязательно делает это безопасно. Поэтому агенту нужно давать ровно те инструменты и тот контекст, которые необходимы для решения конкретной задачи.

— Потому что мы постепенно переходим от моделей, которые только генерируют информацию, к системам, которые эту информацию используют для действий.

— Именно. Это одно из направлений, которое мне сейчас особенно интересно. Я строю агентные системы, способные генерировать и проверять рабочий код для голосовых сценариев. Агент получает задачу, необходимый контекст и набор разрешенных действий, после чего выполняет работу и передает результат на автоматическую проверку.

— Я бы сказал иначе: чем больше ответственности мы передаем модели, тем более строгой должна быть инженерная среда вокруг нее.

— Чат очень важен для развития технологии, но он не обязательно станет главным способом взаимодействия человека с ИИ.

Мне кажется, массовое привыкание к разговору с машинами будет происходить гораздо незаметнее – на кухнях, в автомобилях, перед телевизором. Человек не будет каждый раз думать: «Сейчас я взаимодействую с искусственным интеллектом». Он просто скажет устройству, что хочет сделать. Мы уже прошли похожий путь с сенсорными экранами.

— Предсказуемость. Не способность ИИ удивить человека, а способность не удивлять его там, где речь идет о действиях.

Настоящий прорыв произойдет не тогда, когда ИИ научится делать все. А тогда, когда мы научимся точно знать, что именно ему можно позволить сделать.