中科院計算所、香港城市大學、英國卡迪夫大學以及加拿大西蒙弗雷澤大學的研究者，近日提出了一種能夠表達幾何細節和複雜拓撲結構的三維模型深度生成方法 SDM-NET，解決了之前方法的一部分侷限性，使得生成的模型具有高質量的幾何細節並可以支持快速編輯。該研究已被計算機圖形學頂會 Siggraph Asia 2019 接收。
三維模型的生成一直是計算機圖形學領域一個熱門方向。不同於三維模型，二維圖像的生成在深度神經網絡的幫助下，已經有了高質量的結果，基於深度網絡的圖像生成方法生成的圖像已經足夠以假亂真。
例如，Deep Fake 已經可以做到非常真實的人臉替換。許多研究者嘗試將深度網絡類似地應用於三維模型的生成上，但因為缺乏有效的表示方法，生成的模型不具有精細的幾何細節。例如，基於點雲的方法，是在空間中離散分佈的採樣，無法刻畫幾何模型的細節和拓撲；基於體素的方法受限於複雜度的問題，分辨率較低；基於片網的方法對模型的表面進行逼近，但是仍然無法表示連續曲面。因此，學界及業界尚未有合適的高質量的三維模型深度生成方法。
中國科學院計算技術研究所的學者在三維模型的高質量生成方法上進行探索，在三維模型的表示上有了系列的研究基礎 [1,2,3]。為了進一步生成具有複雜拓撲結構及高質量幾何的三維模型，中科院計算所，聯合香港城市大學、英國卡迪夫大學以及加拿大西蒙弗雷澤大學的研究者，提出了一種能夠表達幾何細節和複雜拓撲結構的三維模型深度生成方法 SDM-NET，解決了之前方法的一部分侷限性，使得生成的模型具有高質量的幾何細節並可以支持快速編輯。
論文地址：https://arxiv.org/pdf/1908.04520.pdf
項目主頁：http://geometrylearning.com/sdm-net/
論文：SDM-NET: Deep Generative Network for Structured Deformable Mesh
該方法涉及一種新的三維模型編碼方式，同時深度生成網絡的設計也與這種編碼方式耦合在一起，完成對三維模型的生成，生成的三維模型可以直接進行編輯。圖一展示了在 SDM-NET 隱含層上插值生成的高質量結果，能夠實現模型拓撲之間的連續變換，如飛機引擎的從無到有。圖二展示了 SDM-NET 與其他方法在細節上的比較。
圖一：SDM-NET 隱含層插值生成模型結果
圖二：細節展示及對比
SDM-NET 的生成模型具有的另一大優勢是可直接編輯，如下面這段動圖所展示的，由 SDM-NET 生成的模型可以直接進行交互式的變形（如刪除扶手、拉長椅腿及椅背等）。
SDM-NET 生成的模型可以直接變形編輯
研究人員在最近於澳大利亞布里斯班舉行的 Siggraph Asia 2019 上展示了他們的研究成果，Siggraph Asia 是 CCF A 類會議，計算機圖形學領域的頂級會議，每年都會發布圖形學領域中高質量的最新研究和學術成果，今年的會議吸引了將近一萬人參會，包括學者、工程師、藝術家和學生等。
被該會議接收的論文都會發表在 ACM Transactions on Graphics 期刊上。該期刊的 SCI 影響因子在 ACM 出版的所有期刊中排名第一，享有極高的聲譽，是被學界及業界高度認可的 ACM 彙刊。如下圖（來自 ACM TOG 官網）所示，SIGGRAPH、SIGGRAPH ASIA 和 ACM Transactions on Graphics 具有同樣高的質量。
方法概述
一個咖啡杯能夠由一個簡單的圓圈變換得到，如圖三所示，這是因為它們實際上是同胚的。一個咖啡杯的細節可以由變換來刻畫，研究人員便利用細節等同於變換的思想來表示三維幾何模型的細節。
同時，直接對模型整體建模比分塊建模要更困難，為了實現高質量的三維模型生成，論文作者將完整的模型分割為具有特定語義標籤的部件，逐一對每個部件進行建模。
如圖四所示，為每一個部件構建軸對齊的包圍盒，將包圍盒同胚變換到被包圍的部件上，刻畫幾何細節。對一類模型（如椅子類別）的不同部件分別進行上述操作，便將模型轉換為幾個同胚集合的並集。每個標籤的部件集合對應一個同胚集合，集合中的變換進一步送到每個部件語義標籤各自的變分自編碼器（VAE）進行編碼與學習。
圖三：咖啡杯和圓圈是同胚的
圖四：對模型逐部件分析，構建網格包圍盒，通過包圍盒的變換刻畫幾何細節
三維模型不只具有精細的幾何細節，同時還有複雜的拓撲結構。如圖五所示，研究人員通過部件包圍盒之間的支撐關係、對稱關係來對模型的複雜結構進行建模。相比採用相鄰關係，支撐關係更能準確描述部件之間的物理支持屬性，從而保證生成的三維模型是物理上具有穩定支撐的特性。
圖五：分析部件之間的支撐關係、對稱關係對模型複雜拓撲結構建模
將結構信息與刻畫部件細節的變形信息串聯在一起，得到模型部件完整的編碼，如圖六所示。研究人員進一步構建一個變分自編碼器來聯合編碼模型的幾何形狀與拓撲結構，保證生成模型的幾何與結構的一致性。這也是第一次嘗試運用神經網絡結構，對支撐形狀結構進行編碼。最終的網絡由兩級 VAE 組成，部件層次編碼變形的 VAE 與模型層次聯合編碼幾何和結構的 VAE，用於結構化變形網格的編碼與生成，被稱作 SDM-NET。在網絡訓練完成後，可生成高質量、平滑的三維模型。
圖六：模型部件的完整編碼
結果展示
圖七：與基於點雲和片網的三維模型表示方法的比較
圖八：與基於體素的三維模型生成方法的比較
如圖八所示，作者與基於體素的三維模型生成方法做了比較，可以看到在生成模型的質量上 SDM-NET 具有很大的優勢。
下面這個動圖展示了模型插值的結果，可以看到 SDM-NET 可以實現在不同拓撲結構模型之間的插值。
SDM-NET 可以在不同拓撲結構模型之間插值
有關論文的更多細節，及論文、視頻、代碼的下載，請瀏覽項目主頁。
參考文獻：[1] Lin Gao, Jie Yang, Yi-Ling Qiao, Yu-Kun Lai, Paul L. Rosin, Weiwei Xu, and Shihong Xia. 2018. Automatic unpaired shape deformation transfer. ACM Trans. Graph. 37, 6 (2018), 237:1–237:15.
[2] Qingyang Tan, Lin Gao, Yu-Kun Lai, Jie Yang, Shihong Xia. 2018. Mesh-based Autoencoders for Localized Deformation Component Analysis. AAAI Conference on Artificial Intelligence (spotlight). 2452-2459.
[3] Lin Gao, Yu-Kun Lai, Jie Yang, Ling-Xiao Zhang, Shihong Xia, and Leif Kobbelt. 2019. Sparse Data Driven Mesh Deformation. IEEE Trans. Vis. Comput. Graph. (2019).
閱讀更多 機器之心Pro 的文章
