近幾年，計算機視覺發展得非常迅速，許多重要技術，例如目標物體識別、檢測、語義分割等，都已經廣泛應用於實際中。在這篇論文中，我們提出了另一種令人激動的成果——用生成對抗網絡大規模定製醫療產品，例如牙冠（dental crown）。
在牙齒修復的過程中，牙醫首先會清除掉受到損壞的部分牙齒，然後手動或用3D掃描儀對需要補的地方以及周圍的結構進行大致重建。捕捉到的數據會生成一個完整的牙套或需要鑲嵌的牙齒。由於牙齒修復的需求巨大，對其效果主要有三點要求：
牙冠必須完美適合患者的口腔；
牙冠必須能進行咀嚼功能；
看起來要美觀。
過去十年，計算機輔助設計（CAD）技術在牙科領域大顯身手，能夠滿足上述三種要求。但是在目前的條件下，仍然需要人類的協助才能完成。牙科CAD通常基於預先設定好的模板上，是為最理想的牙齒模型設計的。該模型被固定在準備修復的地方，然後根據患者的情況進行調整。圖一展示了牙齒修復的過程，設計者需要計算牙套的尺寸，然後進行手動調節。
圖一
為了建造一款自動牙科CAD系統，我們需要將人類專家的技能融合到軟件中。其中一種方法是建立一系列規則，涵蓋了所有牙科專家所瞭解的技能，將其編碼成機器可以理解的語言。這項工作非常複雜，並且只有當規則明確時這一方法才可行。另一種方法就是搭建一套系統，不借助外部規則，可以自己從大量案例中進行學習。
受第二種方法的啟發，我們用數據驅動的深度學習方法，將牙齒修復任務看作是有條件的圖像預測問題。我們將3D掃描看作一張2D的深度圖像，需要修復的牙齒的深度圖像當做輸入條件，而經過專業人員設計的填補圖像就是標準的輸出結果。也就是說，我們可以用深度網絡捕捉人類專家的設計，從而將一種圖像轉換成另一種。
然而，想要達到上述目的，技術人員除了試錯法，沒有其他更好地解決方法，即如何在牙齒表面設計自然的凹槽、如何設計合適的連接點從而能讓牙齒自如地咬合咀嚼。
我們的工作很好地解決了這一問題，我們通過大數據學習，找到了能超越人類牙醫的牙齒修復方案。我們提出了一項軟硬結合的針對理想牙套製作的解決方法：前者負責硬件是否合適，牙套與對面牙齒合併起來時不能有縫隙。後者負責捕捉能允許咬合和咀嚼的最佳自然空間縫隙的數據。我們用一個生成對抗網絡模型完成了這一圖像預測任務，最終得到的結果優於人類專家。
我們的方法
設計牙套的過程如上圖一所示，我們首先創建了需要修復的頜骨及另一面頜骨的2D掃描圖像，以及兩個頜骨之間空隙的3D掃描模型。我們提出的生成模型如圖二所示：
圖二
研究人員將生成的2D牙套表面圖像用CAD轉換成3D模型，如果生成的3D模型通過了所有空間限制，那麼就可以開始生產了。
理想狀態下，牙冠與另一方牙齒之間不應有過大縫隙，同時接觸的部分必須能撕開或咬碎食物。所以我們提出了一種功能性損失函數來解決這一問題。
條件生成對抗模型/pix2pix模型
最近提出的pix2pix模型在圖像到圖像的轉化中前景非常廣闊。它的思想就是用有條件的生成對抗網絡幫助調整生成器，從而產出看起來真實的結果。
空間信息條件
根據周圍的牙齒設計一個合適的牙冠並不能滿足牙冠需要的所有功能。同樣的，我們需要考慮牙冠是如何與對面牙齒接觸的。也就是說，要想創造一款功能完美的牙冠，我們還需要對面牙齒的相關信息以及上下頜骨之間空隙的數據。
實驗
最後，我們進行了實驗測試提出的方法。所用的數據集中含有1500個訓練樣本，1570個驗證樣本以及243個測試樣本。每個樣本都有對應的掃描之後的頜骨、與之相對的頜骨以及二者之間的距離，同時還有手工製作的牙冠作為訓練和驗證的標準。
網絡架構方面，我們遵循標準的pix2pix架構。對於生成器G，我們用U-Net架構，其中蘊含了一個編碼-解碼器結構，同時還有對稱的skip connections。之前的實驗已經證明，當輸入和輸出之間有空間相對性時，這種架構能生成強大的結果。
訓練設置
我們在六種不同的設置上進行了實驗，如表一所示：
表一
Cond1表示在原始的pix2pix上進行實驗，並且輸入的只有待修復的頜骨。其中僅僅使用了迴歸和對抗損失。
Cond3表示pix2pix模型在額外的空間信息上進行的實驗。同樣僅僅使用了迴歸和對抗損失。
HistU表示實驗中加入了直方圖損失和統一的權重，超參數λH設置為0.001，並且用到了迴歸、對抗和功能（直方圖）損失。
為了決定直方圖中各柱子的權重，我們計算縫隙距離最小為5%的值，最高達到0.5毫米，這也是實際中非常重要的一個標準。
根據分析，我們認為不同的權重分配如下。負數柱形權重為2，0至0.5的權重為1，0.5至1.0的為0.5，其餘為0。超參數λH為0.002。這一實驗就被標記為HistW。
Hist2nd表示更換了直方圖函數之後的實驗，參數和權重與HistW相同。
質量評估
我們對比了模型生成的牙冠與人類專家設計的牙冠之間的差別，我們證明我們的結果能與理想設計相媲美。圖三顯示了牙冠的預測結果3D效果圖，圖像表明我們生成的牙冠與標準結果相似度很高。
圖三
然而，我們考慮到咬合與咀嚼，所以模型生成了更加複雜的表面。例如上圖中的#1、#3、#4中的牙冠在Hist2nd情況中，與另一邊牙接觸的一面有更多的褶皺。而在不具備空間信息的情況下，#2和#5的牙冠就“生長過度”了。
滲透評估
接著我們評估了不同方法下在驗證和測試集上的滲透情況。如果牙冠會插入到對面牙齒中，那麼該產品是不合格的，需要人類手動調整。所以我們需要將穿透率控制在最小水平。表二表示了不同設置情況下穿透率的水平。
表二
同時我們將這一數據進行了可視化處理：
圖四：紅點表示牙冠上的穿透點（距離用負數表示）
接觸點分析
圖五
圖五表現了測試集上接觸點的分佈。牙冠上綠色的點表示可以用於咬動和咀嚼的地方。
結語
研究人員通過大量數據創造出的“牙冠生成器”不僅能達到人類醫生的水平，還具備更多功能性。這項工作可以說是第一個成功用GANs解決實際問題的成果，希望未來能有更多這樣的技術落地。
閱讀更多 論智 的文章
