Замена реальности

«Яндекс» представил новую технологию MADrive и выложил в open source датасет MAD-Cars для создания реалистичных виртуальных дорожных сцен. Технологии позволят исследователям и разработчикам по всему миру безопасно тестировать редкие и опасные дорожные ситуации, чтобы делать автономный транспорт надежнее и безопаснее.

Выйти из полноэкранного режима

Развернуть на весь экран

MADrive — технология, которая воссоздает дорожную сцену и заменяет реальные машины в видео на их фотореалистичные 3D-модели. Эти модели подбираются так, чтобы максимально совпадать с реальными автомобилями по форме и цвету, а затем «встраиваются» в сцену с учетом ракурса, глубины и освещения. Благодаря этому виртуальные проезды выглядят естественно и подходят для обучения и проверки алгоритмов автономного вождения.

MADrive позволяет не только воспроизводить реальные поездки, но и создавать новые дорожные ситуации: менять траектории автомобилей, моделировать резкие перестроения, неожиданные торможения, обгоны и другие сложные маневры.

В основе технологии лежит открытый датасет MAD-Cars — это большой набор обезличенных видеороликов машин разных марок, моделей и цветов, снятых с разных ракурсов в реальных условиях. Датасет включает около 70 тыс. видеозаписей более чем 150 марок автомобилей, что делает его одним из крупнейших открытых наборов данных такого типа.

«Симуляторы — важная часть разработки автономного транспорта: в них алгоритмы учатся и проходят проверку без выезда на реальную дорогу. Однако у симуляторов, воспроизводящих реальные проезды, существует проблема нехватки данных. Например, если в реальности машина повернула налево, мы не сможем показать, как она выглядела бы при обгоне или резком перестроении. Наш подход снимает это ограничение: теперь мы можем создавать новые дорожные сцены, которые выглядят так же естественно, как если бы они были сняты на видео. Это открывает путь к безопасному тестированию редких и критических ситуаций, которые невозможно организовать на реальной дороге»,— говорит Виктор Юрченко, руководитель группы симуляции сенсоров автономного транспорта «Яндекса».

В экспериментах технология показала более высокие показатели качества по сравнению с существующими методами визуальной реконструкции сцен, особенно там, где нужно не просто «повторить» запись, а сгенерировать продолжение или новый вариант развития событий.

Технология открывают исследователям по всему миру путь к созданию симуляторов нового поколения, которые обеспечат фотореалистичное и вариативное моделирование. В будущем планируется расширить базу автомобилей и улучшить алгоритмы освещения, чтобы сделать симуляции еще более приближенными к реальности.

Виктор Юрченко, руководитель группы симуляции сенсоров автономного транспорта «Яндекса», ответил на вопросы «Ъ-Науки».

— В чем заключается ключевая инновация технологии MADrive по сравнению с классическими симуляторами, которые просто воспроизводят записанные видеоролики?

— Главная инновация MADrive в том, что система больше не ограничивается повторением уже записанных поездок. Мы можем подменять реальные автомобили на фотореалистичные 3D-модели из большого датасета реальных машин, добавлять новые автомобили на сцену и полностью изменять сценарий их движения — моделировать новые траектории, неожиданные маневры, столкновения или другие ситуации, которые невозможно воспроизвести на реальной дороге.

— Как эта технология может ускорить процесс разработки и валидации алгоритмов автономного вождения? Сократит ли она необходимость в тестовых полигонах и реальных пробегах?

— MADrive позволяет быстро и безопасно формировать редкие, опасные и нестандартные дорожные сценарии для виртуального тестирования. Это значительно ускоряет валидацию и обучение систем, снижая зависимость от дорогих и маломасштабных полигонных и реальных испытаний.

— Как открытость технологии (выкладка в open source) может повлиять на глобальные исследования в области автономного транспорта и установление отраслевых стандартов безопасности?

— Публикация открытого датасета MAD-Cars, а также статьи, описывающей подход MADrive к симуляции, дает научно-исследовательскому сообществу удобный инструмент для построения реалистичных симуляций, что способствует развитию унифицированных методик тестирования и приближает появление общих стандартов безопасности в автономном транспорте. Это также позволяет научному сообществу дальше развивать этот подход целиком или в отдельных компонентах, тем самым помогая отрасли двигаться вперед.

— Станет ли подход, подобный MADrive, новым стандартом для симуляторов следующего поколения? Какие еще шаги необходимы, чтобы виртуальные испытания были окончательно признаны как полноценная замена части реальных тестов?

— Подход MADrive задает новый вектор развития симуляторов: благодаря высокой реалистичности, возможностям генерации новых сценариев и опоре на реальные данные, такие системы имеют потенциал стать отраслевым стандартом. Для полной замены реальных тестов предстоит усовершенствовать физику, освещение и расширить охват по видам транспорта и условиям.

— Как именно технология решает проблему «встраивания» 3D-моделей автомобиля в реальную сцену с учетом ракурса, глубины и освещения? Какие технические задачи при этом пришлось преодолеть?

— MADrive автоматически ищет в базе максимально похожий автомобиль по цвету и внешнему виду, реконструирует найденный автомобиль в 3D и далее размещает полученную 3D-модель автомобиля в сцене на то же место, где был реальный автомобиль. Одна из важнейших задач, которую необходимо было решить в процессе,— это согласование освещения 3D-модели с общим освещением сцены. Для этого пришлось при построении 3D-модели научиться отделять собственный цвет автомобиля от освещения, которое было на момент записи данных с автомобилем, а также научиться оценивать освещение на реконструируемой сцене и использовать его при вставке новых объектов.

— Почему именно замена реальных автомобилей на их 3D-модели стала основным подходом, а не, например, генерация сцен «с нуля» с помощью нейросетей?

— Эти подходы дополняют друг друга. Нейронные сети для генерации сцен могут обеспечить большой поток правдоподобных данных, опосредованно привязанных к реальным проездам. С их помощью сложно взять реальный проезд и адресно добавить в него редкие объекты (например, специализированную строительную технику или спорткар последней модели), чтобы проверить работу алгоритмов автономного автомобиля в этом случае. Способ симуляции, используемый в MADrive, построен на основе реконструкции реальных проездов и допускает более контролируемую манипуляцию с объектами на сцене. Кроме того, данный подход обеспечивает более точную воспроизводимость ситуаций в проездах в целом, а также лучшую стабильность симуляции, что облегчает его использование для обязательного предварительного тестирования алгоритмов автономного автомобиля.

— Можно ли с помощью MADrive тестировать не только восприятие (computer vision), но и планирование траектории и систему принятия решений беспилотного автомобиля?

— MADrive как подход создан для решения задачи симуляции сенсоров, но он построен так, что допускает легкую интеграцию с алгоритмами симуляции движения других автомобилей и пешеходов на сцене. В комплексе такая система позволяет тестировать как отдельные компоненты автономного автомобиля (в том числе планировщик и систему принятия решения), так и всю систему управления автомобилем в сборе.

— Каковы главные ограничения текущей версии MADrive? Как команда планирует их преодолевать в будущем?

— Сейчас основной фокус — легковые автомобили и простое моделирование света, а сложные эффекты вроде бликов и отражений пока ограниченны. В будущем мы планируем расширять базу за счет новых типов транспорта и совершенствовать работу с освещением для полного реализма.

— Может ли эта технология найти применение за пределами автономного транспорта — например, в создании контента для видеоигр, киноиндустрии или в обучении водителей?

— Да, MADrive подходит для создания очень реалистичных дорожных сцен: полезен для генерации игровых или киноматериалов, а также для тренажеров и образовательных продуктов, где требуется фотореалистичное моделирование реальных дорожных ситуаций.

Мария Грибова