作者 | Jeffrey
不同的3D形狀之間雖然在整體結構上差異較大，但其可能分享著一些十分相似的局部結構。例如圖片中所示的自行車和汽車，雖然他們整體上差別較大，但他們的輪子共享著十分相似的幾何形狀。
我們是否有可能利用在自行車上學到的輪子的幾何信息，去分割從未見過的汽車的輪子呢？
我們在 ICLR 2020 上發表的論文《Learning to Group: A Bottom-Up Framework for 3D Part Discovery in Unseen Categories》，嘗試探索學習模型在這個方向上的可能性，即可泛化的3D形狀分割模型。
項目主頁(包括codes和pre-trained models):
https://tiangeluo.github.io/projectpages/ltg.html
具體來說，我們在3D形狀數據集PartNet上進行實驗，我們的訓練類別和測試類別之間完全沒有重疊，比如訓練類別包含椅子、檯燈，測試類別包含床、水龍頭。
我們在訓練類別上訓練模型，然後直接在測試類別上進行測試，模型的訓練過程中沒有看見過任何測試類別的樣本。本文提出的模型可以提供對未見3D形狀、場景的理解。
1、相關研究
我們首先調研現有方法的性能，3D形狀分割方法主要分為學習方法以及傳統方法兩種。
基於學習的方法會將整個形狀（點雲）輸入到一個學習模型中然後輸出分割結果，因此現有的學習模型都會看到整個形狀的上下文本信息。更具體的有以下三種典型的分割方案：
Fully Convolutional-Like Methods [PartNet-InsSeg, Mo et al.]: 輸入整個形狀，端到端的輸出分割結果。
Proposal-Based Methods [GSPN, Yi et al.]: 輸入整個形狀，首先輸出感興趣區域，再在每個感興趣區域內進行分割得到最終結果。
Clustering-Based Methods [SGPN, Wang et al.]: 輸入整個形狀，對形狀裡的每個點得到一個深度特徵，隨後根據所得特徵進行聚類，聚類結果為最終的分割結果。
傳統方法[WCseg, Kaick et al.]主要以局部統計信息來設計特徵進而進行分割，如利用法向量、主曲率等。因此其只會利用局部的上下文本信息。
我們對上述提到的四類方案各自挑選了一個代表的實現，並在椅子、儲物傢俱以及檯燈這三個類別上進行訓練，隨後在水龍頭上進行測試。結果如圖所示，
第四列是人工標註。我們可以看見三種學習方法（前三列）的結果很差，分割出來的零件支離破碎；傳統方法（最後一列）能夠順利分割水龍頭的底座，但未能成功分割水龍頭的頸部，這個部位需要較大的上下文本信息。
2、方法
根據上述實驗結果，我們認為現有學習方法過擬合到了訓練類別的全局上下文本信息，它們只是記住了特定輸入形狀的分割結果，而喪失了泛化性能。但另一方面，只利用局部上下文本信息的傳統方法，處理不了體積較大較複雜的結構。
針對這樣的情況，我們提出了一個簡易的框架，它能動態的擴張與利用所需的上下文本信息，使得既能處理複雜的局部結構，又保證了較好的泛化性能。
具體的，我們將3D形狀分割建模為一個決策過程，迭代地將初始細小的分割合併成最終的分割結果，期間模型所見的上下文本信息會逐步的增大。
首先我們得到一個個類似超像素的初始分割池（sub-part pool，詳見論文），隨後我們通過強化學習訓練策略模塊來挑選一對sub-part，其目標是挑選的sub-part pair在未來有較大幾率形成一個part。
之後將挑選的sub-part pair輸入到驗證模塊來判斷是否應該將兩個sub-part合併，如果不是，那麼這個sub-part pair在之後的過程中不會再被考慮；如果是，那麼我們就合併這對sub-part得到一個上下文本信息更大的新sub-part，將其放入到sub-part pool裡並從pool中刪除輸入的這對sub-part。
我們不斷的迭代重複這個過程，直到所有pair都被判斷過，sub-part pool裡剩下的即是我們最終想要的分割結果。
3、結果
從定性角度來看，我們依然在椅子、儲物傢俱以及檯燈這三個類別上訓練模型，在床和水龍頭兩個類別上進行測試。我們可以看見，所提出的方法能夠順利的分割出水龍頭的底部與頸部。
從定量角度來看，我們在椅子、儲物傢俱以及檯燈這三個類別上訓練模型，在所有PartNet 24個類別上進行測試。
可以看到我們的方法在訓練過的類別上取得了和SOTA方法相似的性能，在未訓練過的類別上較大地超過了現有三種學習方法。
閱讀更多 AI科技評論 的文章
