1、MISF - Multi-sensor Information Fusion 基礎解析
1.1 基本概念
利用計算機技術將多傳感器或多源的信息和數據，在一定的準則下加以自動分析和綜合，以完成所需的決策和估計而進行的信息處理過程；多傳感器信息融合是用於包含處於不同位置的多個或者多種傳感器的信息處理技術；
1.2 融合層次（級別）
在多傳感器信息融合中，按其在融合系統中信息處理的抽象程度可分為三個層次：數據級融合、特徵級融合和決策級融合；
1）數據級融合：
—— 也稱為像素級融合，屬於底層數據融合；將多個傳感器的原始觀測數據(raw data)直接進行融合，然後再從融合數據中提取特徵向量進行判斷識別；
—— 數據級融合要求多個傳感器是同質的（傳感器觀測的是同一物理量），否則需要進行尺度校準。
—— 數據級融合不存在數據丟失的問題，得到的結果也作為準確；但是計算量大，對系統通信帶寬要求較高；
多傳感器數據級融合基本原理示意圖
2）特徵級融合
屬於中間層次級融合，先從每個傳感器提供的原始觀測數據中提取代表性的特徵，再把這些特徵融合成單一的特徵向量；其中選擇合適的特徵進行融合是關鍵；特徵信息包括邊緣、方向、速度、形狀等。
特徵層融合可劃分為兩大類：目標狀態融合、目標特性融合。
目標狀態融合：主要應用於多傳感器的目標跟蹤領域；融合系統首先對傳感器數據進行預處理以完成數據配準，在數據配準之後，融合處理主要實現參數關聯和狀態估計。
目標特性融合：就是特徵層聯合識別，它的實質就是模式識別問題；在融合前必須先對特徵進行關聯處理，再對特徵矢量分類成有意義的組合；
在融合的三個層次中，特徵層融合技術發展較為完善，並且由於在特徵層已建立了一整套的行之有效的特徵關聯技術，可以保證融合信息的一致性；此級別融合對計算量和通信帶寬要求相對降低，但由於部分數據的捨棄使其準確性也有所下降。
多傳感器特徵級融合基本原理示意圖
3）決策級融合
—— 屬於高層次級融合，是對數據高層次級的抽象，輸出是一個聯合決策結果，在理論上這個聯合決策應比任何單傳感器決策更精確或更明確；
—— 決策層融合在信息處理方面具有很高的靈活性，系統對信息傳輸帶寬要求很低，能有效地融合反映環境或目標各個側面的不同類型信息，而且可以處理非同步信息；
—— 由於環境和目標的時變動態特性、先驗知識獲取的困難、知識庫的巨量特性、面向對象的系統設計要求等，決策層融合理論與技術的發展仍受到一定的限制；
多傳感器決策級融合基本原理示意圖
1.3 體系結構
根據對原始數據處理方法的不同，多傳感器信息融合系統的體系結構可分為三種：集中式、分佈式和混合式。
1）集中式 — 將各傳感器獲得的原始數據直接送到中央處理器進行融合處理，可以實現實時融合；
集中式體系結構示意圖
優點：
a、結構簡單，其數據處理的精度高，算法靈活，融合速度快；
缺點：
a、各傳感器的流向是由低層向融合中心單向流動，各傳感器之間缺乏必要的聯繫；
b、中央處理器計算和通信負擔過重，系統容錯性差，系統可靠性較低；
2）分佈式 — 先對各個獨立傳感器所獲得的原始數據進行局部處理，然後再將結果送入中央處理器進行融合處理來獲得最終的結果；
分佈式體系結構示意圖
優點：
a、每個傳感器都具有估計全局信息的能力，任何一種傳感器失效都不會導致系統崩潰，系統可靠性和容錯性高；
b、對通信帶寬要求低，計算速度快，可靠性和延續性好；
缺點：
a、傳感器模塊需要具備應用處理器，這樣的話自身的體積將更大，功耗也就更高；
b、中央處理器只能獲取各個傳感器經過處理後的對象數據，而無法訪問原始數據；因此，想要“放大”感興趣的區域將很難實現；
3）混合式 — 集中式和分佈式的混合應用，即部分傳感器採用集中式融合方式，剩餘的傳感器採用分佈式融合方式；
混合式體系結構示意圖
特點：
a、兼顧了集中式融合和分佈式的優點，穩定性強，且具有較強的使用能力；
b、對通信帶寬和計算能力要求較高；
2、自動駕駛感知模塊多傳感器數據融合
2.1 融合的先決條件
1）運動補償
a、ego motion 自身運動補償
即考慮傳感器在採集過程中的某一時間戳內，由於車輛自身的運動，採集的對象會在該時間戳內發生相對位移變化；
例如：以激光雷達為例，採集一圈需要0.1s，在這0.1s內，車身本身會發生一定的位移，如果不考慮車輛本身位移的情況，檢測出來的目標位置就會產生較大誤差；
b、motion from others 來自於其他目標的運動補償
即考慮傳感器在採集過程中的某一時間戳內，運動物體由於自身運動會產生相對位移變化；
2）時間同步
通過統一的主機給各個傳感器提供基準時間，各傳感器根據已經校準後的各自時間為各自獨立採集的數據加上時間戳信息，以做到所有傳感器時間戳同步；但由於各個傳感器各自採集週期相互獨立，無法保證同一時刻採集相同的信息。
以GPS時間戳為基準的時間同步方法示意圖
在很多自動駕駛車輛的傳感器中，大部分支持GPS時間戳的時間同步方法；
3）空間同步 - 將不同傳感器座標系的測量值轉換到同一個座標系中；
—— 傳感器標定是自動駕駛的基本需求，良好的標定是多傳感器融合的基礎, 自動駕駛車輛上的多個/多種傳感器之間的座標關係是需要確定的。
—— 外參是決定傳感器和外部某個座標系的轉換關係，比如姿態參數。
例如：攝像機和雷達的融合， 需要建立精確的雷達座標系、三維世界座標系、攝像機座標系、圖像座標系和像素座標系之間的座標轉換關係；
激光雷達和相機聯合標定示意圖
2.2 多傳感器融合基本思路示例
1）毫米波雷達和攝像頭數據融合基本思路
—— 這兩種傳感器相融合，多數情況下都是以攝像頭數據為主，毫米波雷達作為輔助；
—— 將毫米波雷達返回的目標點投影到圖像上，圍繞該點並結合先驗知識，生成一個矩形的感興趣區域，然後我們只對該區域內進行目標檢測。
—— 他們融合的優點是可以迅速地排除大量不會有目標的區域，極大地提高識別速度。
2）攝像頭和激光雷達數據融合基本思路
—— 障礙物的檢測可以使用激光雷達進行物體聚類，但是對於較遠物體過於稀疏的激光線數聚類的效果較差，因此利用視覺圖像信息進行目標檢測，進而獲取障礙物的位置，同時視覺還可以給出障礙物類別信息；
—— 融合的關鍵是需要將攝像頭和激光雷達進行聯合標定，獲取兩者座標系的空間轉換關係；可以通過標定的方式，把激光雷達投射到圖像的座標系中，建立圖像的像素點，和激光雷達投影后的點之間做匹配，然後通過某種優化方程，來解決匹配問題；
—— 激光雷達可以得到目標的3D 數據（x, y , z)，通過標定參數，以及相機本身的內參，可以把激光雷達的3D點投射到圖像上，圖像上的某些像素就會獲得激光雷達的深度信息，然後便可以做基於圖像的分割或者深度學習模型；
—— 融合過程中的時候，因為兩者視場角的不同，可能會造成噪點或者漏點；
相機和激光雷達融合效果示意圖
歡迎關注公眾號 ：筋斗雲與自動駕駛，瞭解更多自動駕駛相關技術乾貨內容！
