Беспилотники уже вовсю ездят по Москве (и не только). Присмотритесь!
Какие у Яндекса беспилотники?
Подавляющее большинство автопарка беспилотников Яндекса основано на хэтчбеке Toyota Prius. На дороге его легко заметить по яркому красно-белому кузову. Яндекс покупает подержанные авто с автоматической коробкой 2014-2017 годов выпуска – пока что компания купила около 90 таких машин и 50 из них уже переоборудовала в беспилотники.
«Переделка занимает всего пару дней, – рассказала Юлия Швейко, представитель пресс-службы беспилотных автомобилей Яндекса, – к концу 2021 года таких машин будет уже тысяча». Для достижения таких показателей нужно сотрудничать с производителями, поэтому весной Яндекс заключил контракт с Hyundai Mobis – дочерней компанией Hyundai Motors, ответственной за запчасти и техобслуживание – на разработку беспилотников. Уже готов один беспилотный седан Sonata, но в Яндексе хотят производить разные типы машин, например, внедорожники или микроавтобусы.
Беспилотник на базе Hyundai Sonata
У каждого автомобиля есть имя. До недавнего момента их называли в честь персонажей сериала про роботов-андроидов «Мир Дикого Запада»: Уайтт, Брайан, Кристофер, Долорес. «Но недавно персонажи закончились, и инженеры придумали специальную нейросеть, которая научилась генерировать новые имена по подобию уже имеющихся. То есть теперь робот придумывает имена роботов для роботов», – говорит Юлия.
Где они ездят?
Яндекс тестирует свои автомобили в Татарстане, Москве и Тель-Авиве. Сначала автомобили проходят испытания на закрытом полигоне в Подмосковье, который имитирует город с тоннелями, светофорами и разными дорожными ситуациями. Там они ездят круглосуточно в автономном режиме, приезжая к человеку, только когда у них заканчивается топливо. Пока что они не умеют заправлять сами себя, но это вопрос времени. По сути, это автомобили 4 из 5 уровней автономности, где человек нужен только в экстренной ситуации (согласно общепринятой классификации ассоциации инженеров-автомобилестроителей SAE International).
Тестирование беспилотников на специальном полигоне
Российские власти разрешили беспилотникам выезжать в реальный город осенью 2018 года. Причем чтобы получить это разрешение, автомобиль должен пройти долгую процедуру госсертификации – из 50 машин Яндекса это удалось сделать пока 35. По правилам, инженер по гарантии качества, должен сидеть на водительском месте на протяжении всей поездки и быть готов взять управление на себя.
Беспилотник в Иннополисе
Зона действия пока что небольшая, но сервис активно развивается: еще в начале лета 2019 года там был только один автомобиль, а осенью их число вырастет до семи. Кстати, в отличие от других тестовых городов, в Иннополисе место водителя пустует, а инженер сидит рядом как пассажир.
В Москве беспилотники тестируют с лета 2019 в районе метро Кунцевская, на нескольких улицах в центре и в спальных районах Бутово, Ясенево и Коммунарка. Компания планирует привезти свой автомобиль и в другие города – например, Санкт-Петербург и Нижний Новгород.
Тестирование беспилотника от Яндекс в Москве
В январе 2019 года Яндекс показал свой беспилотник в Лас-Вегасе на выставке Consumer Electronics Show, причем собирали его на месте из купленного в Америке Prius. Чтобы обучить автомобиль езде по Неваде, ушло две недели, говорит директор по развитию бизнеса беспилотных автомобилей Яндекса Артем Фокин: «Когда мы составили маршрут, то поняли, что можем смело пересадить инженера с водительского кресла на пассажирское. И желающих покататься было много: беспилотник работал по 10 часов каждый день».
Беспилотник Яндекса в Лас-Вегасе
В июне 2019 года беспилотное такси приехало в Израиль и в тестовом режиме кружит по Тель-Авиву. Как и в Москве, здесь за рулем находится инженер, который в случае необходимости возьмет на себя управление. Причем речь идет вовсе не о препятствиях – машина легко объедет и яму на дороге, и другие машины. Дело в том, что главный принцип робота-водителя – это строгое следование правилам дорожного движения. И если нельзя будет продолжать движение, не нарушив их, то машина просто остановится.
Яндекс беспилотник в Израиле
«Например, на полосе сломался автомобиль, и нужно выехать на встречную полосу, чтобы его объехать, беспилотник не будет этого делать, потому что это нарушение правил», – говорит Юлия. Для таких случаев и нужен инженер, который берет на себя управление.
В чем особенности российских беспилотников?
Технически все беспилотники мира более-менее похожи. На машину вешают сенсоры, камеры и лидары (лазерные дальномеры), которые сканируют пространство на расстоянии до 300 метров десятки раз в секунду. Таким образом авто определяет себя в пространстве относительно других объектов и выбирает оптимальный маршрут, корректируя его в зависимости от дорожной ситуации.
А дальше начинается самое интересное – машине нужно предсказать действия всех участников движения. Будет ли пешеход переходить улицу? Будет ли перестраиваться этот автомобиль в другой ряд, не включив указатели поворота? И главное – как траектория движения одного повлияет на другого? Опытный водитель нередко может предугадать развитие событий на дороге, и беспилотник должен набрать схожий опыт, накатывая десятки тысяч километров и собирая базу примеров поведения.
В Яндексе подчеркивают, что они создают не «автоматизированную систему помощи водителю, как, например, Tesla, а именно водителя-робота, который сам сможет принимать решения». Именно поэтому они испытывают машины в разных дорожных и погодных условиях. Единственная авария с участием беспилотника от Яндекса произошла в июле 2018 в центре Москвы на Трубецкой улице, когда в беспилотник на светофоре врезался невнимательный водитель, говорит Юлия. В результате повредили заднюю часть «умной машины» – бампер, крылья, багажник.
Всего за два года Яндекс наездил миллион беспилотных километров. Такие показатели есть только у американских компаний Waymo, Uber и китайской Baidu. Кроме Яндекса, свои машины в России тестируют университет МАДИ, КБ «Аврора», специализирующееся на робототехнике, производитель грузовиков «КамАЗ», лаборатория университета «Иннополис» и Таганрогский университет, но каких-либо серьезных успехов они пока не добились – у них есть только единичные прототипы.
А есть ли прибыль?
Как рассказали в пресс-службе «Яндекса», они планируют запустить функцию беспилотного такси в разных городах России уже в течение 5 лет, причем уже через 2-3 года такси может появиться в разных районах Москвы.
Яндекс.Такси в Иннополисе
Общие размеры инвестиций компания не раскрывает, однако говорит, что больше всего денег тратит именно на инженеров-разработчиков. Кроме того, Яндекс очень ждет, когда в России появится законодательное регулирование перевозок на таких автомобилях, вроде американского Self Drive Act.
Яндекс.Такси в Иннополисе
«В случае успеха проект может сделать Яндекс значительно более крупной компанией, выручка которой к 2030 году вырастет на 85% в сравнении с годом начала коммерческого запуска автономных автомобилей», — говорится в отчете.
Беспилотный автомобиль Яндекс создаёт пробки и провоцирует опасные ситуации на дорогах*
Yandex self driving car (беспилотные автомобили Яндекс)
Яндекс тестирует на улицах Москвы идею self driving car.
Теперь эти машины ездят по дорогам района Хамовники в Москве и создают пробки (104 секунда видео) и опасные ситуации на дорогах (вынуждают пассажира следующей за ним машины выходить на проезжую часть 26 секунда видео), 7 автомобилей выстроилось за беспилотным автомобилем Яндекс, который остановился перед пустым перекрёстком, все сигналят, двое девушек на другой стороне смотрят на машину Яндекса с недоумением: «почему она не едет?»:
Посмотрите видео и Вы поймёте о чём идёт речь. Человек в оранжевой футболке это не тот объект, что мешает двигаться беспилотному автомобилю Яндекс.
Почему пешеходы должны подстраиваться под «искусственный интеллект» беспилотных автомобилей Яндекс и угадывать что на уме у его разработчиков?
Машина создана чтобы облегчить жизнь людям, а не усложнять её.
В общем, либо разработчики беспилотных автомобилей Яндекс научат свой искусственный интеллект нормально водить машину, либо пусть лоббируют закон о поведении пешеходов на тротуаре** (эти могут) (оценочное суждение). Автор видео стоит на тротуаре и не сходит с него.***
* Эта статья призвана повысить грамотность поведения на дорогах и обратить внимание на соблюдение ПДД.
**, обязан уступить дорогу пешеходам, переходящим дорогу или вступившим на проезжую часть (трамвайные пути) для осуществления перехода.
Площадь Пешеходного перехода выделена красным цветом:
Яндекс запускает беспилотное такси и приглашает протестировать его
Яндекс открывает прием заявок на участие в тестировании беспилотных такси в Москве. Первые машины запустят этой осенью в Ясенево.
Компания объяснила, что выбрала этот район, так как он является одним из самых больших в столице, и местные жители часто пользуются такси.
Беспилотное такси можно будет вызвать в приложении Яндекс Go и доехать на нем до метро, торгового центра или спортзала. Такси будет возить пассажиров в районе станций метро «Ясенево», «Новоясеневская» и «Битцевский парк».
Принять участие в тестировании смогут только совершеннолетние. Для этого нужно подать заявку сюда и ждать ответа.
Заявки будут одобрять поэтапно. Со временем программа тестирования будет расширяться. В Яндексе надеются, что в обозримом будущем вызвать роботакси можно будет через обычное приложение.
Компания запустила проект беспилотников в 2017 году. Они созданы на базе Toyota Prius и Hyundai Sonata. Как заявили в Яндексе, за четыре года автопарк беспилотников вырос до 170 машин, которые проехали более 14 млн км по дорогам России, США и Израиля. В частности, беспилотные такси совершили 20 тысяч поездок в Иннополисе в Татарстане, прошли тестирование на зимних московских дорогах и развозили гостей международной выставки CES в Лас-Вегасе.
В сентябре 2020 года Яндекс выделил направление беспилотных автомобилей в отдельную компанию Yandex Self-Driving Group (Yandex SDG). Теперь IT-гигант выкупает долю Uber в проекте беспилотных автомобилей и роверов.
В марте проект беспилотного транспорта от Яндекса оказался среди первых семи проектов, которые разрешило внедрять правительство РФ в рамках особого экспериментального правового режима.
Прокатились на беспилотниках Яндекса: как ощущается будущее и почему оно ещё не наступило
Человечество давно мечтает об автоматизации многих рутинных процессов. И тут как в той фразе: «лень — двигатель прогресса». Лифт возит на нужный этаж, дома робот-пылесос, а еду можно заказать уже готовую к употреблению. Самостоятельное выполнение некоторых, казалось бы, привычных процессов становится больше осознанным решением и желанием, чем необходимостью. Так же с автомобилями. Вскоре автомобиль, который, как такси, встретит вас, довезёт куда надо и отправится искать парковку.
Одним из участников мирового движения беспилотных автомобилей является Яндекс. Я встретился с Юлией Швейко, руководителем пресс-службы беспилотных автомобилей Яндекса, и на себе опробовал, каково это, — передвигаться по Москве без участия водителя. В этой статье я расскажу, что к чему и почему мы до сих пор вынуждены лично сидеть за рулём.
Как оно едет? Технологии
Первое, про что хочется рассказать — техническая часть. Конечно, в глаза сразу бросаются сами автомобили. В парке Яндекса, по сути, две модели, это Toyota Prius и новая Hyundai Sonata. С ними связана интересная история. Так Prius Яндекс себе выбрал сам как платформу для работы. Но сама Toyota никак не участвовала в процессе и у IT-компании не было доступа к управлению системами автомобиля на более низком (читай через «мозги» автомобиля) уровне. А вот с Sonata получилось наоборот: по сути, это спецверсия автомобиля от Hyundai Mobis, в котором Яндексу дали доступ к более глубинным системам автомобиля, и автопроизводитель специально доработал электронный блок управления (ЭБУ) автомобилем. Нужно это для более тесной интеграции системы беспилотного управления и её взаимодействия с узлами автомобиля. Ведь изначально блоки автомобиля заточены под управление человеком, у автопилота другой подход к управлению. Также были учтены нюансы расположения различной аппаратуры.
В действительности, решение «поисковика» должно делать всё то, что делает человек. Но это сперва может показаться легко, ну распознавай разметку, включай поворотники, газуй/тормози да руль крути. Всё так. Но самый сложный момент — анализ и предсказание поведения других участников. И если в будущем беспилотные машины сами будут решать, как и куда двигаться, и делать это без эмоций, то сейчас у машины вокруг множество других участников, и всех их нужно проанализировать и предсказать, куда тот или иной поедет.
Конечно, не мог не спросить Юлию про «начинку». Что тут в наличии? Камеры, радары, лидары и всё управляется автономным (не требует соединения с интернетом) программно-аппаратным комплексом на борту автомобиля — в багажнике. Кстати, на базе двух серверных CPU и трёх GeForce 2080 Ti. Все элементы работают, дополняя друг друга. Машинное обучение и предсказание ситуаций в действии.
Так камеры помимо визуальной оценки ситуации по всем фронтам смотрят за цветом светофора. Также именно по камерам ПО узнает, где находятся объекты вокруг авто, и видит границы проезжей части. А с помощью стереокамер устанавливает расстояние до объектов вокруг.
Лидары за счёт отражения лучей формируют объёмную картину окружения всех объектов вокруг автомобиля. Также делает более точный замер расстояний. Кстати, отдельно из этих данных формируется картинка, которую можно увидеть на экране в тестовых автомобилях.
Радары же используют радиоволны. Нужно это для распознавания объектов на большом расстоянии и определения их скорости.
Как вы уже поняли, основная задача всех систем отслеживания — дать понять автомобилю, что вокруг. Далее специальный алгоритм Яндекса это анализирует и уже правит автомобиль в нужном направлении. Попутно реагируя на всё происходящее. Стоит понимать, что всё это делается ежесекундно и молниеносно. На дороге нет времени для задумчивости.
Катаясь по городу, машины Яндекса делают трёхмерный «слепок» местности — суперподробную карту для последующей обработки алгоритмами анализа, помогающую для лучшей ориентации на местности. А после смены с автомобилей скачивают весь объём данных, с которым потом работает команда компании для последующего улучшения систем.
А кто это за рулём? Как всё обстоит в наши дни
По фото вы уже наверняка заметили, что несмотря на способности автомобиля, за рулём есть человек. Один из главных нюансов, связанных с беспилотными автомобилями во всём мире, — юридический вопрос. Кого считать виноватым в случае ДТП, кто в целом ответственен за всё происходящее. В России, пока что, на водительском месте должен находиться человек. Но есть и подвижки, и прогресс к большим свободам для беспилотников.
Так, в 2020 году постановлением правительства РФ № 1415 беспилотникам расширили географию тестирования. К Москве и Татарстану добавились дороги общего пользования в Ленинградской, Московской, Владимирской, Нижегородской, Новгородской, Самарской областях, а также в Ямало-Ненецком и Ханты-Мансийском автономном округах, Краснодарском крае и Санкт-Петербурге.
Отдельно стоит упомянуть Иннополис в Татарстане. Пока что это единственное место, где беспилотникам позволено ездить с пустым водительским местом (сотрудник Яндекса сидит на пассажирском месте). Жители Иннополиса даже могут вызвать себе беспилотник в роли такси и доехать внутри разрешённой территории абсолютно бесплатно.
Но основной площадкой для компании остаётся Москва. Сложные развязки, непредсказуемый трафик, его изменчивость в зависимости от времени суток и времени года. Факторов сотни тысяч, и это отличная тренировочная площадка для компании. Есть, конечно же, и тестовый полигон, где все новшества проходят первичную обкатку.
Расскажу про человека на водительском месте. Тут всё также непросто. Во-первых это не человек с улицы, это опытный водитель, который к тому же понимает, что вообще происходит и что делает автомобиль. Для этого водитель проходит специальную подготовку, где, помимо всего прочего, обучается специальной посадке в автомобиле. Так нога всегда занесена над педалью тормоза, а руки находятся в непосредственной близости к рулю и повторяют манёвры ИИ. Кстати, перехват управления происходит моментально.
Что дальше?
Однозначного ответа на вопрос, когда мы все пересядем на беспилотные автомобили, нет. Техника уже сделала большой шаг вперёд. Инфраструктура города также развивается. Со временем появятся умные светофоры, которые будут управлять и перенаправлять потоки, а соответственно, заранее говорить автомобилю, когда замедляться и куда перестраиваться. А пробок может и вовсе не будет.
Во многих странах остаётся важным юридический вопрос. Но рано или поздно и он решится. Ведь ещё 20 лет назад никто и не задумывался о машинах без водителя, а сейчас, пожалуйста, они уже неплохо справляются и без нас. Нельзя забывать и о внешнем виде, сейчас беспилотники напоминают лаборатории на колёсах с грозными глазами по периметру. Со временем куда-то все эти камеры-радары-лидары нужно будет упрятать.
Радуют две вещи: в целом технология уже очень хорошо работает в реальной обстановке и у Яндекса уже огромный накат километров (более 8 млн) и база информации для анализа.
Рано или поздно мы будем как герои фильма «Я — робот», получать у автомобиля позволения на переход в ручной режим управления. А когда захотим прохватить на ретроавтомобиле, ваша подруга, возможно спросит: «Он что, на бензине, он же взрывоопасен!».
Беспилотный автомобиль: оживляем алгоритмы. Доклад Яндекса
Подробная расшифровка еще одного доклада со встречи Яндекс.Железо — про разработку устройств для беспилотника.
— Всем привет, меня зовут Виталий Подколзин, я руководитель разработки встраиваемых систем проекта беспилотного автомобиля. И сегодня я хотел бы с вами поговорить о том, что такое беспилотный автомобиль, какие компоненты входят в его состав, как заставить машину двигаться и как работа автопилота и его компонентов зависят от применяемых устройств.
Чтобы понять, куда дальше ехать, человеку сначала надо выяснить, где он находится. Беспилотному автомобилю — тоже. За это у нас отвечает подсистема локализации. Потом нужно понять, что творится вокруг нас. За наше зрение, за восприятие мира отвечает система восприятия или perception. На основе данных о местоположении, об объектах вокруг нас, мы можем строить прогнозы по дорожной обстановке, по ее развитию, по поведению участников дорожного движения. И выбирать оптимальный маршрут движения, траектории, далее превращая это в управляющее воздействие.
Но все перечисленное — это, в общем случае, алгоритмы. И вы могли бы запустить эти алгоритмы на своем компьютере, будь он достаточно мощным. Конечно, это не сделало бы из компьютера беспилотный автомобиль. Не хватает двух важных вещей.
Первая — достаточно богатый набор сенсоров, основные из которых перечислены на слайде. И конечно, нам нужна платформа, которая будет исполнять наши команды. С ней нужно взаимодействовать.
Давайте подробнее остановимся на вопросе взаимодействия с автомобилем. Автопилоту, как и человеку, для управления автомобилем нужно делать простые вещи: крутить рулем, ускорять, тормозить. Логичным решением может показаться использование актуаторов для управления этими органами.
Ссылка со слайда
Но такой подход имеет ряд существенных трудностей. Развитие беспилотного автомобиля все равно предполагает наличие водителя на тех или иных этапах — нужно отвозить машину на сервис или следить за автопилотом, когда мы тестируем разные особенности, особенно на ранних стадиях. Данные устройства существенно усложняют жизнь водителю.
Конечно, вся система сложная, и в целом такая механика может вносить неприятные задержки в органы управления. Это отрицательно сказывается на контуре управления автомобилем.
Да, нам еще на старте проекта требовалась простая платформа, но нужен был какой-то другой подход для взаимодействия с этой платформой. И мы начали копать вглубь автомобиля.
Изучив особенности разных платформ, мы обнаружили, что многие современные автомобили имеют возможности контроля собственных органов автомобиля. К примеру, ассистент управляет рулем во время парковки. Круиз-контроль воздействует на ускорение автомобиля, адаптивный круиз-контроль или система ограничения скорости могут воздействовать на систему торможения.
Все эти системы, как правило, в автомобилях закрыты. И чтобы взаимодействовать с ними, потребовалась разработка ряда специализированных устройств. Кроме взаимодействия с автомобилем, от системы требовалось предоставление удобного, понятного для автопилота интерфейса управления автомобилем. И конечно, система должна была быть простой, понятной и очень гибкой.
Мы пришли к такой платформе, где в зависимости от автомобиля разрабатываются небольшие платы контроля, которые взаимодействуют с конкретным узлом. Состав и функциональность этих плат отличаются от платформы к платформе, но все они объединяются в одну сеть, где есть головное устройство, которое мы у себя условно назвали gateway. Оно осуществляет контроль за этими устройствами. Кроме того, gateway предоставляет интерфейс для автопилота по удобным устройствам. Тут мы видим Ethernet, удобный для нашей инфраструктуры, и CAN, самый популярный автомобильный интерфейс. Помимо этого, наше головное устройство постоянно взаимодействует с автомобилем, производит мониторинг состояния узлов и агрегатов. Если обнаруживаются какие-то отклонения, то в зависимости от их природы совместно с автопилотом принимается решение о дальнейших шагах.
Реализовывать плату мы решили на достаточно популярных и зарекомендовавших себя микроконтроллерах. Мы взяли их с запасом по производительности и выбирали такие, которые поддерживают необходимые для работы интерфейсы: CAN, Ethernet и аналоговые цифровые входы-выходы.
Мы получили решение, которое для нас действительно оказалось гибким и позволило с меньшими проблемами переходить от платформы к платформе.
Поговорим о сенсорах. Каждый беспилотный автомобиль имеет богатый набор сенсоров. У каждого беспилотного автомобиля Яндекса четыре лидара на крыше и три во фронтальной части, шесть камер, которые ставятся на крышу, а также шесть радаров: два в задней части и четыре во фронтальной, два из которых расположены по бокам.
Берем радары, лидары, камеры, соединяем, загоняем в вычислитель. Но не все так просто. Очень важно добиться того, чтобы данные с сенсоров были адекватные и качественные. Мы провели большое количество экспериментов, чтобы понять, где располагать сенсоры, чтобы мы могли видеть мир лучше и четче.
Кроме того, нашим конструкторам пришлось хорошо поработать, чтобы все изменения в автомобиле, связанные с сенсорами, удовлетворяли требованиям сертифицирующих органов.
Вот что получилось. Шесть камер на крыше дают хороший обзор на 360 градусов с существенным перекрытием — темные зоны отмечены на слайде. Эти камеры также дают хороший вертикальный обзор. Камера — единственный сенсор, который видит светофоры, потому что они могут располагаться разных частях, в зависимости от перекрестка и прочего.
Радары — еще один важный сенсор каждого автомобиля. Они интересны тем, что имеют не очень широкий угол обзора, но хорошую дальность. Два фронтальных радара выполняют функцию мониторинга того, что творится впереди, задние радары в наших алгоритмах используются, как правило, при перестроении, обгоне и подобных маневрах. Радары, которые смотрят вбок, необходимы для проезда достаточно сложных перекрестков, где информации со стороны сенсоров может быть недостаточно.
Наверное, наиболее интересным сенсором является лидар. Он интересен информацией, которая с него приходит. Перед вами облако точек, point cloud, это данные с лидаров. На них видно пешеходов, автомобили, дорогу, даже края проезжей части и другие объекты. Коробочки — это уже результат работы наших алгоритмов распознавания.
В сумме все сенсоры дают примерно такую картину. Как видите, невозможно не заметить что-либо вокруг автомобиля с таким набором сенсоров.
Я хотел бы остановиться на двух примерах, с которыми мы столкнулись, когда нам потребовалась разработка аппаратной части. Начну с кейса локализации.
Основным источником являются карты высокой четкости. В каждый момент времени беспилотный автомобиль сравнивает данные с лидаров с этими картами. На основе такого сравнения он получает свое местоположение с сантиметровой точностью. GPS, Глонасс или любая другая спутниковая навигация просто не подходит для работы с беспилотным автомобилем ввиду низкой стабильности работы, высокой зависимости от внешних условий, от погоды, шумов, помех. В городе все это существенно осложняется перекрытиями сигнала, переотражениями от зданий и т. д. Но откуда нам взять эти карты? Карты строим мы сами, используя наши беспилотные автомобили с набором сенсоров.
Для построения этих карт нам нужны лидары и какая-то привязка на местности. Нужно как-то получить свою координату. GPS изначально мог бы дать координату, но его точность не очень высокая. Как я уже говорил, на точность GPS влияют атмосферные условия, помехи, а в городе еще и переотражения.
Тут на помощь приходит технология Realtime kinematic. Суть в следующем: где-то на местности ставится неподвижная базовая станция с таким же приемным устройством, как и на автомобиле. Если расстояние между автомобилем и базовой станцией не превышает 30 км (в некоторых случаях 50 км), то данные со спутников, получаемые автомобилем и базовой станцией, будут примерно похожи. Но базовая станция, зная свою точную координату (она неподвижна) и рассчитывая координату по данным со спутника, получает, условно, ошибку вычисления. На основе этой ошибки вырабатываются поправки, которые через интернет отправляются на автомобиль. Автомобиль, учитывая полученные поправки при расчете координаты по спутникам, получает свою координату с сантиметровой точностью. Конечно, для работы с этой системой нужен хороший канал интернета и хорошая погода, чтобы сигнал GPS был стабильным.
Чтобы получить работающее устройство с поддержкой RTK на автомобиле или базовой станции, нужен софт. Библиотеки, предоставляющие возможности RTK RTKLib, находятся в открытом доступе. Есть разные вариации с разными особенностями. Библиотеки, как правило, требуют окружение Linux и модули спутниковой навигации, которые выдают сырые данные.
Проведя пару экспериментов, запрототипировав пару вещей, мы получили структурную схему блока локализации, которую мы назвали GeoHub.
Кроме указанного модуля спутниковой навигации, там еще стоит модуль инерционных измерений, который мы используем в системе локализации. Интернет сейчас приходит по удобному для нашей инфраструктуры интерфейсу Ethernet.
Перед вами второе устройство, его второе поколение и основные технические характеристики.
Мы сделали заменяемым модуль инерциальных измерений и модуль спутниковых сигналов. Это в итоге позволило поставить ряд экспериментов на автомобиле и выбрать оптимальный с точки зрения различных параметров модуль инерциальных измерений, а что касается модуля спутниковых сигналов, мы в процессе смогли перейти на двухдиапазонный приемник, что существенно улучшило качество определения местоположения.
А зачем разрабатывать свое устройство, когда наверняка можно пойти на рынок и купить что-то похожее? Ответ в том, что для нас одним из самых важных параметров является гибкость устройства. В связи с быстро меняющимися требованиями в проекте, появляющимся новым функционалом, нам нужно иметь возможность очень быстро реагировать на это. Только имея внутри проекта, in-house, разработку железа и софта, мы получаем действительно высокую скорость отработки этих изменений.
Другим интересным сенсором с точки зрения беспилотного автомобиля является камера. Окей, камера есть в каждом телефоне и ноутбуке. Что тут может быть сложного? Но давайте посмотрим, с какими проблемами можно столкнуться, используя камеру в беспилотнике.
Первая проблема — мерцание источников светодиодного света. Большинство светофоров — это как раз такие источники. Видео остановилось на моменте, когда из-за мерцания красный сигнал практически пропал.
Для этой проблемы есть аппаратные решения, заложенные в сенсор, но чтобы с ними хорошо и качественно работать, нужно уметь активно взаимодействовать с сенсором.
Вторым требованием для камер является высокий динамический диапазон, то есть возможность работы в условиях любой освещенности, как ночью, так и при ярком солнце. Также важно наличие HDR, то есть возможности совмещения кадров с разной освещенностью в один для получения более качественной картинки.
Слева пример картинки, где где функция HDR используется, а справа — где она отключена.
Кроме этого, мы, конечно, должны получить картинку с достаточным разрешением и достаточной частотой кадров. На слайде выделены еще пара моментов, присущие в том числе беспилотным автомобилям. Камера должна выдавать несжатый видеопоток, желательно формата RGB888, потому что наши сети, алгоритмы работают с этим форматом, хотят получать кадры в этом формате.
Большинство камер, готовых решений на рынке, выдают данные в сжатом виде — H264, MPEG. Проблемы тут простые: мы теряем качество при сжатии и вносим задержку на сжатие и разжатие. Задержка может быть недетерминированной, особенно при высокой нагрузке системы. Камера с разрешением Full HD и частотой 30 кадров в секунду при битности 16 бит на пиксель выдает поток около гигабита в секунду чистых видеоданных.
Кроме этого, камеры, как правило, расположены на удалении от приемного устройства, а в машине, особенно при каких-то экспериментах, они могут располагаться вообще на другом конце автомобиля. Нам нужны были камеры, которые позволяют весь несжатый видеопоток передать на расстояние 6-8 метров с учетом прокладки кабелей. Для Full HD-камеры c 16 битами на пиксель видеопоток составляет 1 гигабит, что уже не дает использовать гигабитный Ethernet, так как в передаче участвуют различные служебные данные и прочее. Десятигигабитный Ethernet использовать не совсем целесообразно. Это дорого, высокое энергопотребление, высокий теплоотвод, повышенная сложность сетевой инфраструктуры.
Да, есть другие интересные интерфейсы. Я хотел бы рассказать о двух из них, с которыми мы поработали. Их предоставляют компании Maxim Integrated и Texas Instruments. Особенность в том, что видеопоток сериализуется в данные, которые идут по простому физическому уровню, в данном случае через коаксиальный кабель, на скорости 3-4, иногда 6 гигабит в секунду. Кроме того, данный интерфейс позволяет использовать обратный канал для управления камерой по этому же коаксиальному кабелю. И по нему же может идти питание камеры. Все перечисленное делает этот интерфейс очень привлекательным.
Когда мы начинали, то нашли решение на рынке, которое в принципе удовлетворяло большинству требований. Его мы какое-то время использовали на старте проекта.
Структурная схема решения перед вами. Это сенсор, данные из которого сериализуются в интерфейс GMSL/FPD-Link. На приемной части, которая может быть удалена на 15 метров, данные десериализуются и передаются в ресивер. В нашем решении этот ресивер далее выдавал данные по интерфейсу USB 3.0.
Но начав использовать это решение, мы столкнулись с рядом неприятных проблем. Главная проблема — решение работало крайне нестабильно, «отваливалось» в процессе работы, камеры плохо запускались при старте автопилота. Вдобавок решение не позволяло подстраивать параметры самих сенсоров с целью улучшения качества картинки. Был и еще ряд проблем. Например, было сложно получить точный timestamp камеры, время съемки, что достаточно важно, ведь на скорости 15 м/с при задержке в 100 мс машина уже проезжает полтора метра, и это может очень негативно сказаться на алгоритмах восприятия.
Был еще один интересный момент. Выходным интерфейсом выбранного решения был USB 3.0, и мы обнаружили, что он крайне шумный. Как мы это поняли? У нас стояло два не подключенных ни к чему автомобиля. На одном запустили камеру, на обоих очень сильно просел сигнал спутниковой навигации. Тогда мы начали изучать, что же происходит.
Проанализировав все эти недостатки в целом, изучив структурную схему перед вами и прочее, мы пришли к выводу, что проблема в приемной части. Дальше начали думать, что с этим делать. Посмотрели, что есть на рынке, решения других команд, и пришли к выводу, что нам нужно делать собственное приемное устройство, которое будет работать с камерой по интерфейсу GMSL или FPD-Link.
Мы взяли десериализаторы, которые, как правило, имеют на выходе интерфейс MIPI CSI2, и начали поиск модуля или процессора, который смог бы поддержать данный интерфейс. И мы нашли интересное решение с шестью интерфейсами MIPI CSI2, а также с высокой производительностью и богатой периферией. Это позволило нам в итоге использовать удобный для нашей сетевой инфраструктуры интерфейс Ethernet 10 гигабит в качестве выходного интерфейса этого устройства. Получив данные по GMSL/FPD-Link с 6 камер (или, в некоторых случаях, с 12 камер), обработав их, устройство по 10-гигабитному Ethernet передает уже обработанный видеопоток дальше — на вычислитель.
Перед вами само решение и его основные характеристики. Разработав такую штуку, мы научились не только надежно работать с 6 или 12 камерами, но также получили возможность тонкой настройки камер. Это позволило улучшить качество картинки, что положительно сказалось на работе алгоритмов восприятия. Мы также получили четкое понимание о времени съемки кадра, научились управлять этим временем. И высокопроизводительные ЦПУ, вычислительные мощности модуля позволили нам производить первичную обработку видео с минимальными задержками прямо на модуле.
Аппаратный кодек этого модуля позволил еще и сжимать видеоданные для последующего сохранения в логах.
Нам пришлось поработать не только с сенсорами локализации и с камерами. Аппаратные решения пришлось разрабатывать практически для всех сенсоров, что мы применяем. Все это было сделано для решения повышения надежности и качества данных, от которых зависят алгоритмы детекции, восприятия. А от них зависит то, насколько оптимальным будет решение, выдаваемое автопилотом.
Окей, мы научились управлять автомобилем, поработали над сенсорами, расположили их хорошо, научили их выдавать нам качественную картинку. Какую еще работу делают инженеры встраиваемых систем, «железячники» на нашем проекте? Мы следим не только за развитием сенсоров, ставших уже обыденными, но и за альтернативными источниками получения информации. Постоянно исследуем альтернативные ускорители нейросетей, других алгоритмов, в том числе с применением ПЛИС. И сложно представить развитие проекта без взаимодействия с опытным автопроизводителем.
Новая платформа — это всегда вызов для разработчиков встраиваемых систем, конструкторов, разработчиков ПО высокого уровня.
Сфера беспилотных автомобилей сейчас находится на очень активном этапе развития. Мне как инженеру очень приятно наблюдать за этим, но гораздо более приятно участвовать. И не за горами то время, когда для нас станет совсем обычным садиться в автомобиль и, направляясь к нужному нам месту, заниматься своими делами в комфорте и безопасности. На этом все, спасибо за внимание.