Яндекс разработал и опубликовал крупнейший датасет для обучения беспилотных автомобилей прогнозированию движений других машин и пешеходов. Он содержит в себе данные, эквивалентные 69 дням непрерывной езды и собранные в разных городах России, Израиля и США, а также в разную погоду: солнечную, дождливую и снежную. Компания выложила аналогичные датасеты для прогнозирования погоды и перевода, а также вместе с Оĸсфордсĸим и Кембриджсĸим университетами запустила конкурс по созданию прогнозирующих моделей, адаптирующихся к изменению условий по сравнению с обучающими данными. Подробнее о датасете можно прочитать в статье, доступной на arXiv.org, а сами данные опубликованы на GitHub и доступны для некоммерческого использования.
Алгоритмы, применяемые в беспилотных автомобилях, можно разбить на две большие группы, отвечающие за разные части вождения: восприятие среды (perception) и «логику». Алгоритмы восприятия среды берут данные с датчиков (как правило, камер, лидаров и радаров), объединяют их и составляют на их основе трехмерную карту окружающего пространства с распознанными объектами, такими как автомобили, границы дороги и другими. Разумеется, разработка и отладка этих алгоритмов — это сложная техническая задача, но в целом она успешно решается многими компаниями-разработчиками. Более сложная задача заключается в том, чтобы на основе карты объектов и истории их движения предсказать, как они будут вести себя дальше, а также проложить безопасный путь движения самого беспилотного автомобиля.
Разработчики беспилотных автомобилей Яндекса опубликовали крупнейший в мире датасет для обучения алгоритмов предсказания движения других машин и пешеходов. Они отмечают, что при создании датасета и конкурса руководствовались проблемой сдвига данных. Она заключается в том, что при обучении алгоритмов разработчики используют, как правило, большой и разносторонний набор данных, но он все равно не охватывает абсолютно все ситуации, которые могут возникнуть при его применении. В задаче беспилотного вождения это проявляется при езде в новом для алгоритмов городе, в котором водители ведут себя на дороге иначе, а также в редких и нестандартных погодных условиях. Разработчики задались целью решить две задачи: создать алгоритмы, устойчивые к попаданию в непривычные условия, а также способные качественно оценивать уверенность в своих решениях.
Датасет состоит из сцен, каждая из которых в свою очередь представляет собой карту окружающей среды с разметкой, нанесенных на карту моделей машин и пешеходов, светофоров с указанным для каждого момента времени сигналом, а также параметров подвижных объектов, то есть их траекторию, скорость и направление. Каждая сцена имеет длину 10 секунд и частоту 5 герц — то есть она состоит из статичных моментов езды, собранных каждые 0,2 секунды. Всего в датасете 600 тысяч таких сцен, собранных в шести городах: Москва, Сколково, Иннополис, Анн-Арбор (США), Тель-Авив (Израиль) и Модиин (Израиль). Стоит отметить, что 450 тысяч сцен собраны в Москве. Также в датасете размечен тип осадков: отсутствие осадков, дождь, снег и мокрый снег.
Как и в других датасетах, данные поделены на обучающую, тестовую и валидационную части, однако деление сделано с важным отличием: разные группы содержат данные из разных городов и с разными осадками. Так разработчики предлагают проверять способность алгоритмов предсказания движений адаптироваться к отличию реальных ситуаций от тех, которые они встречали при обучении. Как и многие другие аналогичные датасеты, в том числе от Waymo, Lyft и Argo AI, датасет Яндекса доступен только для некоммерческого использования (под лицензией CC BY NC SA 4.0), поэтому его не смогут применять другие компании и команды разработчиков, не имеющие доступа к большому парку беспилотников.
Вместе с коллегами из Оксфордского и Кембриджского университетов разработчики Яндекса запустили конкурс Shifts Challenge, в рамках которого другие разработчики будут соревноваться в создании алгоритмов предсказания движения других машин и людей. Алгоритм должен на основе первых пять секунд сцены из датасета предсказать движение остальных объектов в следующие пять секунд, а также оценить уверенность предсказания. Создатели трех самых точных алгоритмов получат пять, три и одну тысячу долларов соотвественно занятым местам. Итоги конкурса будут подведены в конце ноября. Аналогичный конкурс и датасеты организаторы запустили для предсказания погоды и машинного перевода.
Помимо датасетов для логических алгоритмов у других компаний и организаций также есть и датасеты для распознавания окружающей среды. К примеру, такой датасет есть у Waymo, а для российских дорог его собрали организаторы конкурса Ice Vision, о котором мы рассказывали в материале «Кому на Руси водить хорошо».
Обсуждение