엔비디아는 1년간 20개의 에피소드를 통해 360도 인지(perception)부터 파놉틱 세그멘테이션(panoptic segmentation), 미래 상황 예측에 이르기까지 다양한 주제를 심층 분석했다. 드라이브 러브 비디오 시리즈에서는 소프트웨어 개발의 구성 요소를 한 번에 하나씩 다루고 있다.
드라이브 랩은 정보와 교육의 제공을 목표로 엔비디아가 가장 중요하다고 판단하는 과제와 안전성과 효율성이 높은 수송을 위한 접근방식을 제시하는 창구가 되고 있다.
<엠베디아 자율주행 소프트웨어 개발 과정을 소개하는 ‘드라이브랩’ 시리즈> 인지 네트워크, 심층신경망(DNN)
자율주행차는 경로를 계획하고 주행 결정을 내리기 전에 차량 주변의 모든 환경을 보고 이해할 수 있어야 한다. 드라이브 랩에서는 자율주행차 인지 부문을 담당하는 심층신경망(Deep Neural Network, 이하 DNN)의 여러 측면을 자세히 설명한다. 엔비디아의 접근방식은 중복적(redundant)이며, 다양한 DNN을 바탕으로 DNN 모델은 교차로 감지, 교통신호등, 교통표지 감지, 교차로 구조 이해와 같은 다양한 기능을 다루고 있다. 또 이 모델은 주차공간 인지, 센서 장애 여부 감지 등 다양한 과제에도 활용된다.
DNN은 보행자와 교통신호 주변에 경계함(bounding boxes)을 그리는 것 이상을 한다. 이미지를 픽셀 단위로 분석해, 시각의 정밀도를 향상시켜, 보다 정확한 포지셔닝 정보를 얻기 위해, 이 픽셀을 시간을 들여 추적한다.
야간주행의 경우 오토 하이빔 네트(Auto High Beam Net)가 자율주행차 전조등을 제어해 액티브 러닝 어프로치를 통해 어두운 곳에서의 보행자 감지기능을 향상시킨다. 또 DNN은 정확한 모션 플래닝을 위해 2D 카메라 이미지를 통해 3D 거리를 추정할 수 있다. 엔비디아의 다양한 인지기능은 자동차 주변에서 작동한다. 서라운드 카메라 물체 추적 기능(surround camera object tracking)과 서라운드 카메라 레이더 퓨전(surround camera-radar fusion)을 장착하면 인지 사각지대가 확실히 사라진다.
전방 도로 예측
자율주행차는 환경인식뿐 아니라 도로상의 다른 행위자들이 어떻게 행동하는지 이해할 수 있어야만 안전한 경로 확보를 위한 계획을 세울 수 있다. 드라이브 랩에서는 자율주행차가 순환신경망을 통해 물체의 움직임에 대해 과거에 축적된 통찰력을 미래예측측정에 활용하는 방식을 제시하고 있다.
엔비디아의 세이프티 포스 필드(Safety Force Field)라는 충돌방지 소프트웨어는 플래닝 및 제어 소프트웨어의 다양성과 중복성을 향상시킨다. 백그라운드에서 계속 실행되면서 기본시스템의 제어기능을 재차 체크하면서 위험한 행동을 방지한다.
이런 DNN과 소프트웨어 요소는 자율주행차 개발의 일부에 불과하다. 이런 획기적인 도전과제는 데이터센터와 자동차 자체에 대한 엄격한 훈련과 테스트가 필요하다. 끊임없이 변화하는 운송 환경 속에서 자동차 소프트웨어도 변화에 적응해야 한다.
드라이브 랩 에피소드에서는 앞으로도 다양한 주제를 검토해 나갈 계획이며, 자율주행차 소프트웨어 개발을 지속적으로 추진함으로써 노하우를 지속적으로 공유할 예정이다.