Date：2020-03-24
來源：物體的三維識別與6D位姿估計：PPF系列論文介紹(二)——PPF-MEAM
文章“Point Pair Feature-Based Pose Estimation with Multiple Edge Appearance Models (PPF-MEAM) for Robotic Bin Picking”2018年發表在《Sensors》，是近年來ppf方法的一個代表性的繼承與發展。一、算法主要框架
算法分為線下訓練階段和線上匹配階段。如下圖
線下階段的目的是構建一個模型描述的哈希表，用於線上匹配階段。首先借助CAD模型生成點雲；然後提取N個視角的點雲；對於每個視角的點雲，提取點雲的boundary points（下文稱之為邊緣點）；對於邊緣點，擬合切線，切線方向作為當前點的方向向量；計算四維特徵，存儲再哈希表中。
線上階段的主要目的是識別場景中的目標實例，並計算位姿，使得機械臂的抓取成為可能。首先借助彩色相機和深度相機對場景進行拍攝，對二維圖像進行邊緣紋理提取，根據彩色相機和深度相機事先標定好的參數，將二維圖像的紋理映射到三維空間，得到場景的邊緣點；擬合切線，切線方向作為當前點的方向向量，計算四維特徵，完成場景點對特徵提取，並根據得到的特徵查找哈希表，匹配場景點對和模型點對，藉助霍夫投票來實現位姿估計；接著對所有候選位姿進行聚類，得到一系列候選位姿；最後藉助ICP算法，對位姿進行優化。
二、邊緣點切線方向的估計與四維特徵的構建
針對點對構建四維特徵，不僅需要點對的三維信息，還需要點對方向的三維信息。文章提出一個邊緣點切線方向的估計的估計算法。
首先將場景點雲劃分成許多ROI區域。算法解釋：首先將場景點雲映射到XOY平面內，得到二維圖，二維圖每個像素的值為對應三維點的Index（因為文章使用的是organized point cloud，所以每個點都有Index）；然後設計一個長方形模板Mrec，去遍歷二維圖片，將二維圖片劃分成許多子圖；最後將各個子圖映射回三維點雲，便得到一系列子點雲。具體算法如下：
然後在每個ROI點雲區域中，求各個點的切線方向。算法解釋：，對於每一個子點雲i，遍歷其中的每一個點j，由當前點Pj與其他點Pk連接成線，計算到這條線距離小於一定閾值的周圍點的數量。該數量作為點Pk的得分；那麼一定能找到一個得分最高的點Pk‘；將Pk’與Pj的連線斜率當作是點Pj的方向信息。具體算法如下：
這樣便構建了點對之間的四維特徵：三個角度一個長度。如圖：
三、線下模型建立- Model Description with MEAM
所謂MEAM，是指：multiple edge appearance model。文章從六個角度提取CAD模型的appearance，並藉助PCL庫提取邊緣得到edge，如下圖。然後基於上一節的內容，提取所有模型的點對特徵，並存儲在哈希表中。
四、線上匹配
這部分主要就是傳統的ppf方法。在場景點雲中選擇一定比例的點作為參考點，計算參考點與所有場景點構成的點對的四維特徵，然後去查找線下建模得到的哈希表。與場景點對特徵近似的模型點對特徵就被提取出來。
建立臨時座標系，將互相匹配的場景點對（s）和模型點對（m），變換到同一個座標系下面，如圖
由圖有公式：
那麼場景點Si和模型對應點Mi的座標變換關係就得出，即得出位姿。
對於一個場景參考點，匹配場景中其餘的所有點，然後根據特徵搜索哈希表，理論上講每一個匹配都能對應出一個位姿。由於遮擋、特徵重複等因素，並不是所有的位姿都是正確的。需要對位姿進行投票，票數較高的位姿更有可能成為候選位姿。Ppf原文中構建了二維投票表，對上述公式的α，mi進行投票，如下圖，票數最高的α，mi決定的位姿，視作當前場景參考點得出的可靠位姿。
五、位姿優化
在上一節中，一個場景參考點能夠算出一個可靠位姿，n個場景參考點有n個可能位姿，這些位姿是不盡相同的，甚至差異很大。需要對這些候選位姿進行聚類，同一個類中位姿的t向量差異和R矩陣的差異小於特定閾值。當前類的分數定義為：類中各個位姿在上節投票中獲得的票數的總和。最終取分數較高的幾個類中位姿的平均，作為最終候選位姿。
對最終候選位姿進行ICP優化，得到最終位姿。
六、實驗效果
文章在模擬場景和實際場景分別比較了PPF與PPF-MEAM，無論是精度還是速度上，都有較大的提升。
模擬場景實驗效果如下圖：
真實場景實驗效果：
參考文獻
[1] Diyi L , Shogo A , Jiaqi M , et al. Point Pair Feature-Based Pose Estimation with Multiple Edge Appearance Models (PPF-MEAM) for Robotic Bin Picking[J]. Sensors, 2018, 18(8):2719-.
[2] Bertram Drost, Markus Ulrich, Nassir Navab,等. Model globally, match locally: Efficient and robust 3D object recognition[C]// 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2010.
閱讀更多 3D視覺工坊 的文章
