自動駕駛汽車不僅會被「假路標」誤導，開上反向車道，還會無視道路中間的障礙物，直到躲閃不及才能發現。最近密歇根大學、UIUC聯合百度提交的一項研究讓自動駕駛技術又一次成為了人們關注的焦點。這一次，連性能最好的傳感器激光雷達（LiDAR）都被黑掉了，自動駕駛汽車真的安全嗎？
用激光雷達進行目標檢測是目前自動駕駛汽車用到的主流方法，這種傳感器精度高、成本高昂、技術門檻高。如果昂貴的價格能買來安全，那麼也能顯示其價值。但最近，來自百度研究院、密歇根大學以及伊利諾伊大學香檳分校的研究者提出了一種可以「欺騙」激光雷達點雲的對抗方法，對激光雷達的安全性提出了質疑。
在深度學習中，為了檢測神經網絡的魯棒性，研究者通常會用特定方法生成一些不容易識別或判斷的目標對神經網絡進行攻擊，這些目標被稱為「對抗樣本」。對抗樣本通常是精心設計的輸入，伴有小幅度的擾動，目的是誘導神經網絡做出錯誤預測。
上述幾位研究者也製作了對抗樣本，不過這次是針對激光雷達的。他們提出的對抗方法名為 LiDAR-Adv，如果把用該方法生成的對抗樣本打印出來，會得到下圖這些奇形怪狀的物體。
為了進行物理對照實驗，他們還找來了普通箱子作為對照組。
對照組用到的箱子
接下來，他們把這些對抗樣本和普通箱子分別放置在自動駕駛車行進路徑的中央和右側，觀察激光雷達的反應。
將對抗樣本和箱子放在路徑中央
結果顯示，放在路徑中央時，配置激光雷達的汽車一直到逼近對抗樣本時才檢測出該目標，相比之下，該汽車在距離較遠時就檢測到了作為對照的普通箱子。
將對抗樣本和對照箱放在路徑右側
將物體放在路徑右側時情況更為糟糕，激光雷達直接「無視」了對抗樣本。這讓我們對自動駕駛汽車的安全性提出了很大的質疑。
容易受攻擊的不止是神經網絡
用對抗樣本「欺騙」自動駕駛汽車的確不是什麼新鮮事，如機器之心之前報道過的用「物理攻擊」方式欺騙特斯拉的自動駕駛系統。在那項研究中，來自騰訊科恩實驗室的研究人員在道路特定位置貼了幾個貼紙，就讓處在自動駕駛模式的特斯拉汽車併入反向車道。該研究中的對抗樣本欺騙的是特斯拉 Model S 中的車道檢測系統，即其中的深度神經網絡分類器。
深度神經網絡（DNN）容易受到對抗樣本的攻擊，這一點已經被許多研究所證明。為了證明這種攻擊在現實世界構成威脅，一些研究提議生成能夠迷惑分類器識別停車標誌的實體貼紙或可打印貼圖，如上述的特斯拉對抗攻擊實驗。但是，自動駕駛系統並不僅僅是圖像分類器。為了獲得更清晰的感知影像，大多數自動駕駛檢測系統配備有激光雷達或普通雷達（無線電探測與測距）設備，這些設備能夠藉助於激光束直接探查周圍 3D 環境。這就提出了一個疑問：貼圖干擾是否會影響激光雷達掃描的點雲？
為了回答這一問題，研究者提出了一種基於優化的方法——LiDAR-Adv，以生成可以在各種場景下規避激光雷達檢測系統的對抗樣本，從而揭露激光雷達自動駕駛檢測系統的潛在漏洞。
研究者首先使用一種基於黑盒進化的算法展示了相關漏洞，接著使用基於梯度的方法 LiDAR-Adv 探索強大的對抗樣本造成的影響有多大。
為了評估 LiDAR-Adv 在現實世界中的影響，研究者對生成的對抗樣本進行 3D 打印，並在百度阿波羅自動駕駛平臺上測試它們。結果顯示，藉助於 3D 感知和產品級多階段檢測器，他們能夠誤導自動駕駛系統，實現不同的對抗目標。
激光雷達工作原理
在分析研究者提出的對抗方法之前，我們先來了解一下激光雷達的工作原理。
如下圖 2 所示，激光雷達傳感器首先對 3D 環境進行掃描，獲得場景的原始點雲。接著，點雲通過預處理饋入到檢測模型。最後，對檢測輸出進行後處理，以預測檢測結果。
圖 2：激光雷達在 AV 上的檢測流程圖
構建激光雷達對抗樣本的難點
基於激光雷達的檢測系統由多個不可微分步驟組成，而不是單個的端到端網絡，這種端到端網絡會極大地限制基於梯度的端到端攻擊的使用。
這些關鍵性障礙不僅令之前的圖像方法無效，而且在構建對抗樣本時帶來如下一些新的挑戰：
1）基於激光雷達的檢測系統利用實體激光雷達設備將 3D 形狀映射到點雲上，隨後點雲饋入到機器學習檢測系統。所以，形狀擾動（shape perturbation）如何影響掃描到的點雲尚不清楚；2）激光雷達點雲的預處理過程是不可微的，從而避免了對基於梯度的優化器的不成熟使用；3）擾動空間受到多方面的限制。
首先，研究者需要確保可以在現實世界重建擾動目標。其次，一個目標的有效激光雷達掃描為點雲的約束子集，使得擾動空間比無任何約束的點雲擾動空間小得多。
LiDAR-Adv 對抗樣本構建方法
如下圖 1 所示，研究者提出了 LiDAR-Adv 方法，生成針對現實世界激光雷達檢測系統的對抗樣本。
圖 1：LiDAR-Adv 概覽圖。圖上行顯示，基於激光雷達的檢測系統可以檢測到普通的箱子；
首先，研究者模擬了一個可微分的激光雷達渲染器，將 3D 目標的擾動與激光雷達掃描（或點雲）連接起來。然後，他們利用可微分的 proxy 函數製作 3D 特徵聚合。最後，他們設計不同的損失，確保生成的 3D 對抗樣本平滑。
此外，為了更好地展示 LiDAR-Adv 攻擊方法的靈活性，研究者在兩種不同的攻擊場景下對其進行了評估：
1）隱藏目標：合成一個不會被檢測器檢測到的「對抗樣本」；
2）改變標籤：合成一個被檢測器識別為特定對抗目標的「對抗樣本」。
研究者還對激光雷達與黑盒設置下的進化算法做了對比。
方法概覽
在場景中給定一個 3D 樣本 S，如 background 中所述，並在激光雷達傳感器掃描該場景之後根據 S 生成點雲 X，所以 X = render（s, background）。在預處理過程中，點雲 X 被切割並聚合生成 x，即 H × W × 8 特徵向量。研究者將這一聚合過程稱為Φ: x = Φ(X)。然後，機器學習模型 M 將 2D 特徵 x∈^RH×W×8 映射到 O = M(x)，其中 O ∈^RH×W×7。接著，研究者利用聚類過程Ψ對 O 進行後處理，以生成檢測到障礙的置信度 y_conf 和標籤 y_label，所以 (y_conf , y_label) = Ψ(O)。一個對抗攻擊者意圖操控樣本 S，以實現對抗目標。
研究者將對抗目標分為兩類：
- 隱藏目標：通過操控現有樣本 S 來隱藏 S；
- 改變標籤：將檢測到的目標 S 的標籤 y 改變為特定目標 y'。
在激光雷達檢測中實現上述對抗目標並非易事，面臨以下三方面問題：
- 多階預處理/後處理；
- 操作約束；
- 操作空間有限。
針對上述問題，研究者設計了端到端攻擊管道。為了方便基於梯度的算法，研究者執行了一個近似可微且模擬激光雷達功能性的渲染器 R，從而使一組預定義射線與包含頂點 V 和傾斜點 W 的 3D 目標平面 (S) 產生交互。
預處理完成後，點雲饋入到預處理函數Φ，以生成特徵圖 x = Φ(X)。接著，特徵圖 x 作為機器學習模型 M 的輸入，以獲得輸出度量 O = M(x)。整個過程可以表徵為 F(S) = M(Φ(R(S)))。
注意，通過微分渲染器 R，整個過程 F(S) = M(Φ(R(S))) 又可微分為 w.r.t. S。通過這種方式，研究者可以操控 S，從而利用最終輸出 F(S) 運行的目標函數生成對抗 S_adv。
實驗
在實驗過程中，研究者實現了「隱藏樣本」的目標，並通過基於進化的黑盒算法揭露了激光雷達檢測系統存在的漏洞。然後，他們展示了白盒設置下 LiDAR-Adv 方法的定性和定量結果。此外，實驗結果表明，LiDAR-Adv 方法還可以實現「改變標籤」等其他一些對抗目標。
由於點雲在現實場景下是連續捕獲的，所以單個靜態幀中的攻擊可能在現實場景中的影響不大。所以在實驗中，針對包含不同方向和位置的 victim 數據集，研究者生成了一個魯棒的通用對抗樣本。他們對這種通用對抗樣本進行 3D 打印，並進行真實駕駛實驗，從而證明這些樣本的確對公路上行駛的自動駕駛車輛構成威脅。
圖 3：研究人員生成的不同尺寸對抗樣本，在多個激光雷達照射的情況下仍然可以保持不被檢測到
為了確保 LiDAR-Adv 方法在各種物理條件下保持對抗效果，研究者通過一組物理變換（位置和方向）來進行採樣和優化。實驗證明了生成的對抗樣本具有魯棒性，可以實現高成功率的隱蔽和攻擊。
表 2：在受控和不可見情形下，LiDAR-Adv 方法對於不同位置和方向上攻擊的成功率
除此之外，研究者評估了 3D 打印生成的樣本在物理世界的效果。如下圖 5（a）所示，自動駕駛系統在 36 個不同幀中並未檢測到對抗物體。如下圖 5（b）所示，系統在 18 個幀中的 12 個檢測到了正方體盒子。由於車速不同，總幀數也有不同。（來自 智能座艙與自動駕駛）
圖 5：物理攻擊結果。LiDAR-Adv 方法的 3D 打印硬質對抗物體未被基於激光雷達的汽車檢測系統檢測到。
閱讀更多 樂談車市 的文章
