在外界人眼中，達摩院人才濟濟，大多是奇人異士，做著神秘且高端的研究，有如掃地僧一般的存在，但是如果有一天，當神秘專家不再神秘，你發現他們也開始玩摳圖，且這一切都朝著不受控制的方向發展了的時候，那麼摳圖他們能玩出哪些花樣？

你看看，萬物接可摳！

部分圖片來源淘寶商品圖

換成視頻試試？可以！

我們為什麼要開始研究摳圖？

這要從阿里巴巴智能設計實驗室自主研發的一款設計產品鹿班說起。鹿班的初衷是改變傳統的設計模式，使其在短時間內完成大量banner圖、海報圖和會場圖的設計，提高工作效率。商家上傳的寶貝圖參差不齊，直接投放效果不佳，通過鹿班製圖可以保證會場風格統一、高質視覺效果傳達，從而提升商品吸引力和買家視覺體驗，達到提升商品轉化率的目的。

而在製圖的過程中，我們發現商品摳圖是一項不可避免且繁瑣的工作，一張人像精細摳圖平均需要耗費設計師2h以上的時間，這樣無需創意的純體力工作亟需被AI所取代，我們的摳圖算法應運而生。

近幾年圖像摳圖算法

遇到的難題和解決方案

我們最開始在上手鹿班“批量摳圖”需求時，發現用戶上傳的圖像質量、來源、內容五花八門，想用一個模型實現業務效果達到一勞永逸很難。在經過對場景和數據的大量分析後，定製整體框架如下：

主要涵蓋了過濾、分類、檢測、分割四個模塊：

•過濾：濾掉差圖（過暗、過曝、模糊、遮擋等），主要用到分類模型和一些基礎圖像算法；

•分類：瓶飲美妝等品類商品連通性比較好，3C、日用、玩具等品類則反之，另外場景（如人頭、人像、動物）需求也是各具差異，故而設計不同的分割模型提升效果；

•檢測：在鹿班場景用戶數據多來自於商品圖，很多是經過高度設計的圖像，一圖多商品、多品類、主體佔比小，也不乏文案、修飾、logo等冗餘信息，增加一步檢測裁剪再做分割效果更精準；

•分割：先進行一層粗分割得到大致mask，再進行精細分割得到精確mask，這樣一方面可以提速，一方面也可以精確到髮絲級；
如何讓效果更精準？

目前分類、檢測模型相對比較成熟，而評估模型則需要根據不同場景做一些定製（電商設計圖、天然攝影圖等），分割精度不足，是所有模塊中最薄弱的一個環節，因此成為了我們的主戰場。詳述如下：

•分類模型：分類任務往往需要多輪的數據準備，模型優化，數據清洗才能夠落地使用。據此，我們設計完成了一個自動分類工具，融合最新的優化技術，並借鑑autoML的思想，在有限GPU資源的情況下做參數和模型搜索，簡化分類任務中人員的參與，加速分類任務落地。

•評估模型：直接使用迴歸做分數擬合，訓練效果並不好。該場景下作為一個前序過濾任務，作為分類問題處理則比較合理。實際我們也採用一些傳統算法，協助進行過暗、過曝等判斷。

•檢測模型：主要借鑑了FPN檢測架構。

1、對特徵金字塔每一層featuremap都融合上下相鄰層特徵，這樣輸出的特徵潛在表徵能力更強；

•分割融合模型：參考論文>>點擊查看<<
與傳統的只需要分別前景、背景的圖像分割（segmentation）問題不同，高精度摳圖算法需要求出某一像素具體的透明度是多少，將一個離散的0-1分類問題變成[0, 1]之間的迴歸問題。在我們的工作中，針對圖像中某一個像素p，我們使用這樣一個式子來進行透明度預測：

其中

和

分別代表了這個像素屬於前景和背景的概率，

是混合權重。我們的網絡可整體分為兩部分，分割網絡和融合網絡，如下圖：

分割網絡：我們使用了在圖像分割任務中常用的編-解碼器結構作為我們的基礎結構，但與傳統結構不同，我們的網絡中使用了雙解碼器分別來預測前、背景概率

和

。如果像素p在圖像的實心區域（透明度為0或1），我們預測像素透明度的真實值；如果p在圖像的半透明區域（透明度值在0到1之間），我們預測像素透明度真實值的上下界。通過在半透明區域使用加權的交叉熵損失函數，使

和

的值相應升高，即可將透明度的真實值“包裹”!在

這一區間中。

右圖中紅色部分即是被前背景概率包住的像素!

融合網絡：由數個連續卷積層構成，它負責預測混合權重

。注意，在圖像的實心區域，像素的前背景預測往往容易滿足

這一條件，此時

和

求導恆為0，這一良好性質令融合網絡在訓練時可以自動“聚焦”於半透明區域。

應用產品化開放

得以商業應用的基礎是我們在應用層單點能力，如人像/人頭/人臉/頭髮摳圖、商品摳圖、動物摳圖，後續還會逐步支持卡通場景摳圖、服飾摳圖、全景摳圖等。據此我們也做了一些產品化工作，如

閱讀更多 阿里云云棲號 的文章

關鍵字: 最in買手君 人工智能 神秘