Camera在自動駕駛中的感知和定位功能中發揮著重要的作用，本課程從自動駕駛的產品功能需求和計算機視覺技術出發，系統地、簡明扼要地說明如何利用camera傳感器通過計算機視覺、深度學習等技術實現自動駕駛的重要功能。

?

一、簡介

1、自動駕駛的應用：不同應用場景（L2+或L3乘用車、robotaxi、robobus、干線物流、快遞、礦區碼頭等封閉場景）對自動駕駛功能的需求

2、自動駕駛的系統：自動駕駛的軟、硬件系統，背后的云服務、數據服務等

3、自動駕駛的技術棧：感知、定位、地圖、PnC等，以及每個技術方向依賴的基礎技術如：成像投影原理、特征提取、圖像匹配、目標檢測、深度估計、全景分割、深度學習、數據閉環等。

4、QA&交流&后續安排（30min）

二、關鍵技術講解

1、視覺感知

1.1目標檢測：最重要的任務之一，模型結構、訓練策略、監督信號等；QA（20min）

1.2目標跟蹤：預測、匹配、相似度計算；QA（10min）

1.3圖像分割：以車道線檢測為例講解模型設計；QA（10min）

1.4 其他任務：紅綠燈檢測、標志標牌識別、深度估計等

2、視覺定位

2.1相機標定：成像原理說明真實世界與圖像平面的關系

2.2特征提取：各種算子（SIFT、ORB）從圖像中提取關鍵角點信息進行匹配

2.3參數估計：從匹配的角點計算投影關系，如圖優化等

2.4 QA（10min）

三、工程化落地與工具鏈建設

1 Cyber/Ros簡介：機器人基礎運行架構

2深度學習模型部署：剪枝、量化、tensorrt、cuda等模型實時運行技術

3?深度學習模型研發閉環

3.1 數據閉環鏈路：所有跑車數據可落盤、可回盤、有標記、可查詢

3.2 數據挖掘&數據標注：尋找有價值的數據

3.3 case分析、可視化：可視化并分析、定位問題

4?仿真刷庫：積累足夠的case，驗證迭代過程中是否帶來其他負面影響