Зрение вместо карт

Одна из ключевых задач при создании систем автономного управления городским рельсовым транспортом — точное определение траектории собственного движения. От ее решения зависит способность прогнозировать дорожные ситуации и своевременно выявлять потенциальные опасности на пути.

Выйти из полноэкранного режима

Развернуть на весь экран

Традиционный подход опирается на цифровые карты и спутниковую навигацию. Однако в реальных городских условиях эти данные часто расходятся с истинной позицией транспортного средства: карты устаревают, содержат неточности, ошибки в указании радиусов поворотов. Инерциальные системы тоже дают сбои: на поворотах одометр может ускорять или замедлять навигацию. В результате погрешности в определении траектории трамвая достигают нескольких метров, что неизбежно ведет к ошибкам распознавания объектов дорожной сцены и, как следствие, к серьезным ДТП.

Разработчики предложили иное решение: определять путь трамвая непосредственно по изображению с камер, отказавшись от карт и навигационных данных. Такой подход позволяет абсолютно точно фиксировать наличие или отсутствие опасных объектов в зоне рельсового пути.

Особую сложность представляли случаи, когда с помощью зрения невозможно отличить свой путь от встречного или чужого,— стрелки, пересечения и разветвления. В этих ситуациях система не просто распознает путь, а разделяет его по полосам движения. Когда трамвай подъезжает к стрелке, нейронная сеть выделяет все возможные направления. Однако алгоритмически автопилот не может определить, куда именно нужно ехать: маршрут знает только водитель. Поэтому для выбора правильной траектории система использует вспомогательные сигналы — вплоть до включения водителем сигналов поворота.

Технология Cognitive Track Detector промышленно работает на «умных» трамваях Санкт-Петербурга уже более полугода. О том, как это устроено, «Ъ-Наука» беседует с ведущим разработчиком систем компьютерного зрения и автопилотирования для городского рельсового транспорта Геннадием Савицким.

— Почему традиционные системы навигации — GPS и цифровые карты — оказались непригодны для точного определения траектории рельсового транспорта в городе и к каким последствиям приводила их погрешность?

— Действительно, использование цифровых карт и систем навигации — наиболее простой путь решения задачи. Однако в реальных городских условиях данные карт могут отличаться от истинной позиции транспортного средства: какой-то фрагмент устарел, автор внес неточности при составлении, указал радиус поворота не того размера.

Аналогично инерциальная система дает сбои. На точность влияет и «железо» трамвая: на поворотах одометр может ускоряться или замедляться. Ошибка на повороте даже в полградуса означает, что реальный путь лежит по-другому. В итоге погрешности в определении траектории могут достигать нескольких метров. Если решать задачу «в лоб», это неизбежно приведет к ошибкам распознавания объектов дорожной сцены и, следовательно, к серьезным ДТП.

Поэтому мы приняли решение определять путь трамвая по изображению, не опираясь на карты и навигацию. Такой подход позволяет абсолютно точно понимать наличие или отсутствие опасных объектов в зоне рельсового пути.

— Какие геометрические конфигурации рельсовых путей оказались самыми сложными для распознавания и как архитектура системы научилась их корректно интерпретировать?

— Сложность представляли случаи, где с помощью компьютерного зрения отличить свой путь невозможно. Это стрелки и места пересечения (крестовины). Особенно запутанная конфигурация присутствует в депо, где разветвления идут одно за другим, как у елки.

В таких ситуациях Cognitive Track Detector не просто распознает путь, а разделяет его по полосам движения. Например, когда трамвай подъезжает к стрелке, нейронная сеть выделяет все возможные направления и система понимает структуру путей в точке ветвления.

— В чем принципиальное отличие этой задачи от аналогичных разработок в других сферах, например в сельском хозяйстве, и почему городская сцена оказалась сложнее?

— Задача определения пути рельсового транспорта по изображению оказалась значительно сложнее, чем в наших разработках для агросферы. Главная сложность — всепогодность. В агроприложениях мы работаем в летний период, а здесь — круглогодично: в дождь, снег, слякоть, когда рельсы даже глазами непросто распознать, в условиях заслонения путей транспортными средствами.

Кроме того, в городской сцене нужно распознавать свой путь сразу из четырех возможных траекторий (случай разветвления), тогда как в агросфере у нас всего два варианта: скошено — не скошено, обработано — не обработано. Поэтому здесь и сетка сложнее, и для обучения потребовалось значительно больше данных.

— Как решается самая сложная визуальная задача — различение своего пути от встречного или чужого на стрелках и разветвлениях, когда глазами это сделать невозможно?

— Нейронная сеть разделяет путь по полосам движения, выделяя все возможные траектории. Однако алгоритмически автопилоту понять, куда именно ехать, невозможно: нейронная сеть не знает маршрута, его знает только водитель. Поэтому в таких ситуациях мы используем вспомогательные данные, косвенно исходящие от водителя: включение сигналов поворота или данные маршрутного табло. Это точные признаки, позволяющие определить «свой» путь.

— Почему для обучения нейросетей потребовался уникальный по объему массив данных, включая синтетические, и как это повлияло на устойчивость системы?

— Для гарантии безопасности задача определения своего пути должна решаться во всех возможных случаях, которые только могут возникнуть при движении трамвая. Мы собирали данные для всех ситуаций городской сцены и всех вариантов покрытий: гравия, асфальта, травы, для любой погоды и времени года. Учтены все геометрические комбинации путей.

Мы не ставили целью сбор самого большого в мире датасета — это результат, сложившийся автоматически из-за масштабности задачи. Объем превысил 0,5 млн элементов, включая генеративную аугментацию. На всех маршрутах, где работает система, она определяет все развилки со стопроцентным результатом, что подтверждено и испытаниями, и эксплуатацией.

— Как технология справляется с нестандартными условиями эксплуатации — движением в депо, на мойках, по гравию или траве?

— Мы обучали нейронные сети на всех возможных ситуациях, включая дорожную сцену в депо, на мойках и на всех вариантах покрытия, а также в условиях работы дворников, в дождь и снегопад. Достигли промышленного качества распознавания, гарантирующего безопасность.

— Насколько удалось повысить безопасность движения благодаря отказу от карт в пользу «зрительного» определения пути?

— Данные по итогам испытаний говорят, что разработанная технология позволяет повысить безопасность движения до 20–25%. Эти цифры совпадают с нашими прогнозами.

— Какие научные подходы и архитектуры нейронных сетей были задействованы для обеспечения инвариантности к погодным условиям, времени суток и сезонным изменениям городской среды?

— Мы используем современные трансформенные подходы, что позволило достичь качественно иного результата в задачах автопилотирования. Мы берем данные с камер всего флота «умных» трамваев, поступающие практически круглосуточно. У нас есть декоррелированное облако данных: мы собираем его так, чтобы данные максимально не были похожи друг на друга. Наши технологии позволяют собирать максимально репрезентативные данные автоматически и отфильтровывать из видеопотока «мусор» — данные, которые уже присутствуют в выборке и не влияют на обучение. На практике это дает учет всех погодных условий, к которым наши нейронные сети полностью инвариантны.

— Можно ли считать антропоморфный подход (ориентация по зрению, как у человека) универсальным для любых типов рельсового транспорта или городов?

— Зрение — это истина в последней инстанции, максимально актуальные данные в режиме реального времени. Мы во всех наших ИИ-решениях используем антропоморфный подход. Считаем, что совершеннее того, что Бог сотворил у человека, ничего нет.

Сам подход, безусловно, универсален, но наш опыт работы с другими регионами и странами, а также смежными направлениями (например, железнодорожным транспортом) показывает: под каждый случай внедрения потребуется соответствующая доменная адаптация и дообучение нейронных сетей.

Мария Грибова