Разговор с трактором

Представьте себе машину, которая не просто выполняет команды, а понимает их с полуслова. Не нужно тыкать в планшет, набирать тексты или искать кнопки — достаточно сказать: «Остановись», «Продолжай движение» или спросить: «Хватит ли заряда доехать до точки Б?»

Именно такую систему представили разработчики компании «Когнитив Пилот» для своего полностью беспилотного и бескабинного мини-трактора.

Выйти из полноэкранного режима

Развернуть на весь экран

Речь идет о собственном голосовом ассистенте, созданном на базе генеративной нейросети. Разработка призвана решить одну из ключевых проблем взаимодействия человека и робота — обеспечить устойчивое и естественное понимание состояния системы, особенностей выполнения задач и аналитики в реальном времени. В отличие от публичных LLM-сервисов, решение развернуто в изолированной облачной среде на внутренних вычислительных мощностях, что обеспечивает независимость от внешних провайдеров и снижает риски утечки данных.

Ассистент не просто генерирует текст: он способен напрямую управлять функционалом робота, анализировать телеметрию, прогнозировать выполнение миссий и даже озвучивать отчеты. Система адаптирована под терминологию агросектора и других сфер, где применяется мини-трактор: аэропортов, ЖКХ, газовых станций. Особое внимание уделено безопасности: заложенные сценарии и независимый контур компьютерного зрения гарантируют, что робот не причинит вреда человеку или технике даже при ошибочных командах.

В интервью «Ъ-Науке» ведущий разработчик «Когнитив Пилот» Геннадий Савицкий рассказывает о том, как удалось победить «галлюцинации» нейросети, почему смартфон оказался лучшим пультом управления, и о том, как голосовые ассистенты помогут роботам быстрее адаптироваться в сельском хозяйстве, ЖКХ и грузоперевозках. По словам разработчика, этот проект может стать одним из первых примеров промышленного применения голосового интерфейса для автономной техники.

— Одна из главных сложностей в таких системах — это «галлюцинации» (выдумка фактов) LLM. Как вы технически «привязываете» генеративную модель к жестким данным телеметрии, чтобы ИИ не фантазировал про уровень заряда батареи или пройденный путь, а выдавал только верифицированные цифры?

— Генеративная модель получает в процессе работы робота реальные данные, и пользователь просто просит ее агрегировать тот или иной результат. Если у нас есть полнота реальных данных, то нет причин что-либо «выдумывать».

Полноту и корректность этих входных данных гарантирует собственная модель данных, спроектированная человеком, которая и следит за процессом. То есть это своего рода и есть первый фильтр безопасности на входе. Поскольку LLM оперирует только верифицированными входными величинами, ей фактически не из чего «галлюцинировать».

— Ассистент понимает речь «на лету», не дожидаясь окончания фразы. Какие архитектурные решения (например, потоковая обработка или семантическое прогнозирование) позволили победить задержку (латентность) в условиях нестабильной связи в поле?

— Речь распознается не после окончания фразы, а по частям — непрерывно. Применяется потоковая (стриминговая) обработка, при которой поток режется на сегменты и распознается сразу по мере поступления. Параллельно используется семантическая сегментация, где система ловит смысл фразы, не дожидаясь ее конца. Это определенно снижает субъективную задержку.

При нестабильной связи ассистент не «зависает» и система корректно переходит на бортовую локальную подсистему, которая продолжает озвучивать выполнение миссии и текущих задач, а облачные сложные прогнозы лишь откладываются до момента восстановления соединения. То есть при обрыве связи теряется только продвинутая прогностика, но не управление роботом.

— Вы используете свою нейросеть «Ипполит». В чем принципиальное различие в ее обучении по сравнению с массовыми моделями (например, с точки зрения loss-функций), если она должна не генерировать текст, а принимать управленческие решения, такие как «остановиться»?

— Управление роботом не является функцией генеративной сети. Голосовой помощник лишь исполняет команды, заданные человеком. Решения об остановке и другие управленческие команды принимает человек совместно с инженерными подсистемами, которые опираются на данные лидаров и камер: компьютерное зрение, распознавание 3D-сцены, анализ препятствий и планирование движения. Это отдельный контур управления, независимый от языковой модели. Таким образом, за «управление» отвечает инженерная подсистема и зоны ответственности четко разделены.

— В системе заявлена защита от команд злоумышленников. Речь идет только о голосовой биометрии оператора или же у ИИ есть семантический «фильтр», который запрещает любые команды, противоречащие физике безопасности (например, движение в сторону человека), даже если это сказано голосом авторизованного пользователя?

— Есть доминирующая подсистема компьютерного зрения. Это дополнительный контур безопасности: четыре камеры для кругового обзора по всем бортам, лидар, 3D-видение сцены, распознавание образов. Эта подсистема выступает семантическим «фильтром». Например, команда, противоречащая протоколу миссии или угрожающая безопасности, отклоняется, даже если она произнесена авторизованным голосом. Это называется принципом безопасного отказа, когда при конфликте робот останавливается, а не выполняет опасное действие (не собьет человека, не превысит скорость, не упадет в обрыв и т. д.).

— Как решается проблема неоднозначности естественного языка в критических ситуациях? Например, что если ребенок шутливо скажет роботу: «Дави газ!» Как система отличит игровую метафору от реальной управленческой команды?

— Шутливую фразу типа «Дави газ» робот вряд ли воспримет. Он попросит уточнить, что имеется в виду. Однако шутливая выходка ребенка может совпадать с реальной управленческой командой. Если будет дано несерьезное задание, просто ради того, чтобы проверить послушание машины, например «Езжай вперед!», то оно будет выполнено.

В отдельных проектах, где риски подачи такого рода команд будут иметь место, можно предусмотреть механизм верификации команд с обязательной отправкой кода подтверждения на смартфон. Но в любом случае робот будет выполнять миссию в рамках заложенных в него поведенческих сценариев и независимого контура безопасности, который не даст задеть человека, врезаться в препятствие, утонуть в реке или еще как-то нарушить протокол.

— Вы говорите о «взаимопонимании», но диалог пока строится по схеме «вопрос—ответ». Планируется ли внедрение проактивности, когда робот сам обращается к человеку (например: «Я чувствую пробуксовку, разреши сменить маршрут»), или пока это исключительно реактивная система?

— На самом деле проактивность уже реализована и работает. Такой механизм работает в случаях, когда возникает причина обращения машины к человеку. Робот может самостоятельно проинформировать пользователя, например, о низком сигнале GPS, выходе из строя какого-либо датчика или о загрязнении сенсоров. Робот активен, он озвучивает текущие события и может дискутировать. Если выполнению миссии будет что-либо препятствовать, он об этом сообщит. Например: «Не смог убрать мусор у входа, поскольку там было препятствие». Эти функции устанавливаются пользователем в системных настройках. Кроме того, предусмотрен механизм создания специальных функций под каждого заказчика, включая тембр голоса робота. Например, в одном из детских лагерей, где робот выполняет задачи уборки территории, он, помимо информации по выполнению своих непосредственных обязанностей, отвечает ребятам на многие интересующие их вопросы простым и доступным ребенку языком: «Почему снег белый, а трава зеленая?», «Расскажи анекдот» и т. д. При этом робот общается с ребятами детским голосом.

— Почему в качестве устройства управления выбран смартфон, а не гарнитура с шумоподавлением? Ведь в поле или в аэропорту шум ветра и двигателей может сделать речевой ввод со смартфона неудобным. Было ли это камнем преткновения при тестах в реальной агросреде?

— Управление ассистентом осуществляется со смартфона по причине постоянного наличия шума от работы двигателя. И лучше всех остальных устройств задачу шумоподавления решает именно смартфон. Мы в этом убеждаемся регулярно, комфортно разговаривая по телефону даже в шумном метро. Это оптимальный выбор как в технологическом, так и в ценовом смысле.

Что касается гарнитуры — это, по сути, уже вчерашний день: ее нужно заряжать, носить с собой, синхронизировать, и она не рассчитана на длительную работу в полевых условиях. Смартфон же всегда под рукой, не требует дополнительного оборудования и привычен пользователю. Однако подключить гарнитуру к смартфону и взаимодействовать с мини-трактором можно.

Также нашими инженерами рассматривался вариант установки микрофонов на самом мини-тракторе, но от этой идеи отказались по двум причинам. Во-первых, сама машина является источником постоянного шума: двигатель, вибрация корпуса, ходовая часть и навесное оборудование создают акустическую нагрузку, которую невозможно полностью отфильтровать. Во-вторых, платформа может быстро отъехать на расстояние, где встроенные микрофоны уже не распознают голос. Смартфон в этом смысле решает проблему: он находится непосредственно у пользователя, и команда передается на машину по радиоканалу, а не через попытку «докричаться» до нее.

— Ассистент дает прогнозы («проезд невозможен из-за рельефа»). Каков процент ошибок таких прогнозов на тестовых полигонах? И как построен пользовательский опыт (UX) в ситуации, когда ИИ ошибается в расчетах заряда батареи и говорит «не поеду», хотя трактор физически мог бы выполнить задачу?

— Действительно, ошибка в прогнозах может быть по вполне понятным причинам. В процессе выполнения миссии изменились погодные условия, поднялся встречный ветер, резко упала температура и т. п. Но робот никогда не откажется от выполнения миссии. Вероятность же критической ошибки сведена к минимуму архитектурно. Мы принципиально не отдаем прогностику полностью на откуп ИИ.

За расчеты отвечает отдельная подсистема выверенных математических моделей, которая оперирует фактическими показателями: заряд батареи, качество сигнала спутника, кинематика, расход топлива и другие параметры. Нейросеть получает уже готовые результаты и лишь агрегирует их в ответ для пользователя, объясняя ситуацию на естественном языке.

Что касается пользовательского опыта при расхождении прогноза с реальностью — система спроектирована так, чтобы оператор всегда оставался главным. Если расчет показывает критически низкий заряд, ассистент не блокирует управление, а предупреждает и предлагает варианты. Финальное решение, ехать или нет, остается за человеком.

— Система работает в изолированном облаке компании. Если связь с облаком пропадает полностью, «интеллект» машины отключается и она работает только по жестким алгоритмам или в бортовом компьютере хранится облегченная версия ассистента для базовых команд?

— Здесь важно понимать, что облачный ассистент — это не есть бортовой ИИ. В бортовом компьютере функционирует полностью автономная система, включающая функционал нейросетей, отвечающих за компьютерное зрение, управление, алгоритмы, обрабатывающие данные с датчиков, лидаров, камер, модуль сенсорного объединения (data-fusion) и т. д. И в случае потери связи с сервером потеряется только связь с большой языковой моделью. Не будет возможности делать сложные прогностические запросы. Система будет работать как бы в теневом режиме. Она сможет опрашивать минимальный набор бортовых датчиков и озвучивать текущее состояние выполнения миссии.

При нестабильной связи ассистент не «зависает» и система корректно переходит на бортовую локальную подсистему, которая продолжает озвучивать выполнение миссии и текущих задач, а облачные сложные прогнозы лишь откладываются до момента восстановления соединения. То есть при обрыве связи теряется только продвинутая прогностика, но не управление роботом.

— Сейчас технология заточена под терминологию агросектора. Насколько это решение масштабируемо с точки зрения переобучения? Если вы захотите внедрить такого ассистента в экзоскелет или строительный кран, придется ли переписывать ядро нейросети или это просто вопрос загрузки нового словаря и набора сценариев?

— Мы сознательно не делаем большую языковую модель предметно-ориентированной. Ядро остается универсальным, и на сегодняшний день это общемировой тренд. ИИ не обучают под конкретную отрасль, а подключают его к внешнему контуру знаний. В данном случае ключевую роль играет не сама нейросеть, а информационная архитектура — готовая база знаний или информационная система, с которой взаимодействует голосовой агент.

Если мы идем в строительный сектор, то это должна быть база знаний о нормативах, регламентах, распорядке дня и т. д., и только тогда ИИ сможет понять, что от него требуется. Дообучать и переобучать нейронную сеть можно, но это затратно, а главное — неэффективно.

— Что именно вы вкладываете в понятие «социальной адаптации» робота? Это просто привыкание оператора к голосовому интерфейсу или же вы закладываете в нейросеть модели эмоционального интеллекта, чтобы робот подстраивал тембр и лексику под психотип конкретного тракториста?

— В числе наших заказчиков есть довольно консервативные пользователи, например в агросфере, и организация взаимодействия с роботами для ее отдельных представителей требует времени и некоторых усилий. Наличие же голосовых помощников позволит максимально приблизить это взаимодействие к формату человеческого общения и минимизировать потенциальные сложности взаимодействия между человеком и роботом. Это мы и называем «социальной адаптацией».

Если же говорить о модели эмоционального интеллекта, то на сегодня в нейросеть ее мы не закладываем. Но проект кастомизируется, и под сценарий заказчика строится поведенческая модель.

Например, по желанию пользователя робот может управлять радио, говорить женским или мужским голосом, иметь тембр диктора Левитана, рассказывать анекдоты и т. д. Так, в одном из детских лагерей, где робот выполняет задачи уборки территории, он общается с оператором детским голосом и отвечает на вопросы языком, понятным и доступным ребенку.

Мария Грибова