曉查 夏乙 發自 凹非寺量子位 出品 | 公眾號 QbitAI
靠一個攝像頭拍下的圖像做3D目標檢測，究竟有多難？目前最先進系統的成績也不及用激光雷達做出來的1/10。
一份來自劍橋的研究，用單攝像頭的數據做出了媲美激光雷達的成績。
還有好事網友在Twitter上驚呼：
這個能不能解決特斯拉不用激光雷達的問題？馬斯克你看見了沒？
靠“直覺”判斷
為何人單眼能做到3D識別，而相機卻做不到？
因為直覺。
人能夠根據遠小近大的透視關係，得出物體的大小和相對位置關係。
而機器識別拍攝的2D照片，是3D圖形在平面上的投影，已經失去了景深信息。
為了識別物體遠近，無人車需要安裝激光雷達，通過回波獲得物體的距離信息。這一點是隻能獲得2D信息的攝像頭難以做到的。
為了讓攝像頭也有3D世界的推理能力，這篇論文提出了一種“正投影特徵轉換”（OFT）算法。
作者把這種算法和端到端的深度學習架構結合起來，在KITTI 3D目標檢測任務上實現了領先的成績。
這套算法包括5個部分：
1. 前端ResNet特徵提取器，用於從輸入圖像中提取多尺度特徵圖。
2. 正交特徵變換，將每個尺度的基於圖像的特徵圖變換為正投影鳥瞰圖表示。
3. 自上而下的網絡，由一系列ResNet殘餘單元組成，以一種對圖像中觀察到的觀察效果不變的方式處理鳥瞰圖特徵圖。
4. 一組輸出頭，為每個物體類和地平面上的每個位置生成置信分數、位置偏移、維度偏移和方向向量等數據。
5. 非最大抑制和解碼階段，識別置信圖中的峰值並生成離散邊界框預測。
這種方法通過將基於圖像的特徵映射到一個正交3D空間中，打破了圖像的束縛。在這個3D空間裡，各個物體比例一致、距離也是有意義的。
效果遠超Mono3D
作者用自動駕駛數據集KITTI中3712張訓練圖像，3769張圖像對訓練後的神經網絡進行檢測。並使用裁剪、縮放和水平翻轉等操作，來增加圖像數據集的樣本數量。
作者提出了根據KITTI 3D物體檢測基準評估兩個任務的方法：最終要求每個預測的3D邊界框應與相應實際物體邊框相交，在汽車情況下至少為70％，對於行人和騎自行車者應為50％。
與前人的Mono3D方法對比，OFT在鳥瞰圖平均精確度、3D物體邊界識別上各項測試成績上均優於對手。
尤其在探測遠處物體時要遠超Mono3D，遠處可識別出的汽車數量更多。甚至在嚴重遮擋、截斷的情況下仍能正確識別出物體。在某些場景下甚至達到了3DOP系統的水平。
不僅在遠距離上，正投影特徵轉換（OFT-Net）在對不同距離物體進行評估時都都優於Mono3D。
但是與Mono3D相比，這套系統性能也明顯降低得更慢，作者認為是由於系統考慮遠離相機的物體造成的。
在正交鳥瞰圖空間中的推理顯著提高了性能。為了驗證這一說法，論文中還進行了一項研究：逐步從自上而下的網絡中刪除圖層。
下圖顯示了兩種不同體系結構的平均精度與參數總數的關係圖。
趨勢很明顯，在自上而下網絡中刪除圖層會顯著降低性能。
這種性能下降的一部分原因可能是，減少自上而下網絡的規模會降低網絡的整體深度，從而降低其代表性能力。
從圖中可以看出，採用具有大型自上而下網絡的淺前端（ResNet-18），可以實現比沒有任何自上而下層的更深層網絡（ResNet-34）更好的性能，儘管有兩種架構具有大致相同數量的參數。
資源
論文：
Orthographic Feature Transform for Monocular 3D Object Detection
https://arxiv.org/abs/1811.08188
作者表示等論文正式發表後，就放出預訓練模型和完整的源代碼。
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回覆“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
閱讀更多 量子位 的文章
