2 月 7 日至 12 日，AAAI 2020 在美國紐約召開。
近日，由阿里安全和浙江大學合作研發的創新AI算法提出了一種面向服飾版權保護的屬性感知細粒度相似度學習方法，解讀這項技術的論文《Fine-Grained Fashion Similarity Learning by Attribute-Specific Embedding Network》（《面向服飾版權保護的屬性感知的細粒度相似度學習》）被全球人工智能頂級會議AAAI 2020 收錄。
這算法從傳統關注整體相似度細化到能夠關注於局部區域的特定屬性的相似度，從而進一步提升了甄別“局部抄襲”的準確率，為服飾版權保護提供更強大的技術支持。
簡單說，以前A 品牌推出了一件連衣裙原創爆款，B品牌趁機推出了“同款”，B還很"機智"地修改了連衣裙的裙長、領型或袖型，以此規避知識產權糾紛，讓人氣憤不已。不過，有了這項技術，這種做法就行不通了。
從視覺角度如何對原創設計進行保護是“服飾理解”面臨的一個重要問題，也是長久以來的一個巨大挑戰。
服飾圖像通常伴隨著嚴重的變形，在風格、紋理、背景上也存在巨大的差異。現有的服飾理解方法在in-shop clothes retrieval [1, 2]，cross-domain fashion retrieval [3, 4] 以及fashion compatibility prediction [5, 6] 等任務上進行了廣泛的研究。
這些方法傾向於考慮圖像整體的特徵，為各種服飾學習單一的特徵空間。隨著時尚產業的發展，服飾傾向於具有更加豐富的屬性，單單從整體特徵考慮已無法滿足需求，並且，抄襲通常也不是整體的抄襲，可能僅模仿某種局部設計；再者，對服飾理解的進一步細化能夠提高推薦系統的性能。
因此，浙江大學和阿里安全的研究者從服飾版權保護出發，基於專業定義的服飾屬性，探索一種靈活有效的細粒度服飾相似度度量方法。
圖 1 全局嵌入空間（左）特定屬性的嵌入空間（右）
如圖1所示，現有方法通常將兩張圖像映射到全局嵌入空間中度量相似性，而研究者提出的方法則根據不同的屬性（比如領型設計、袖長）選擇不同的嵌入空間，從而在相應的空間中計算在指定屬性下服飾的相似性。比如，可以在領型設計空間度量兩件服飾的領型設計是否相似，如果同為圓領，如何使得模型能夠靈活地進行任務切換，根據不同的屬性有不同的輸出？
據上述算法的研究者之一、阿里安全圖靈實驗室高級算法專家華棠介紹，結合服飾屬性具有“局部性”的固有特點，他們利用視覺注意力機制將圖像從全局特徵空間映射到不同的特徵子空間中，在子空間中度量具體角度下的圖像相似度。
這種方法具有兩個優點，第一，不同屬性映射到不同子空間中，在不同子空間中度量細粒度的相似關係；第二，模型能夠端到端學習，不同相似性角度下的度量關係互相不影響，可以同時訓練。
融合圖像特徵，屬性嵌入
研究者提出了一個 Attribute-Specific Embedding Network (ASEN) 模型來學習多個特定屬性的嵌入空間。
ASEN 模型的整體結構模型由三部分組成：特徵提取、屬性感知的空間注意力（ASA）和感知的通道注意力（ACA）。
圖 2 ASEN架構圖
考慮到特定屬性的特徵通常與圖像的特定區域有關，只需要關注某些相關區域。因此，研究者設計了 ASA 模塊，該模塊在特定屬性的引導下定位圖像中與給定屬性相關的服飾部位。
儘管屬性感知的空間注意力能夠自適應地聚焦於圖像中的特定區域，但是相同區域仍可能與多個屬性相關，例如，領型設計屬性和領型顏色屬性都與領型周圍的區域相關聯。因此，研究者在ASA的基礎上進一步設計了ACA 模塊，同樣在屬性的指導下捕捉與屬性相關的特徵元素。
特徵提取模塊通過卷積神經網絡（convolutional neural network, CNN）提取圖像特徵，ASA和ACA處於旁路，順序對CNN提取到的特徵進行條件化映射。注意力模塊以額外的屬性輸入為引導，融合條件和圖像特徵，使得最終的圖像特徵滿足需要。
ASA 採用attention map的方式，通過融合圖像特徵和屬性嵌入，產生注意力權重。首先屬性經過編碼，通過嵌入（Embed）和複製（Duplicate）操作被映射到公共度量空間中，圖像特徵同樣經過一步變換（1x1 conv）映射到同樣的空間中。屬性嵌入和圖像特徵經過內積運算在不同的空間位置上產生不同的相似度比較值，對不同通道上的相似度比較結果進行聚合（1x1 conv）將得到一個attention map用來調整原圖像特徵在空間域上的分佈。
雖然 ACA 模塊能夠關注到相關的圖像部位，但是對於由服飾屬性定義的high-level的服飾概念而言，同樣的部位仍然可能和多種屬性相關，比如屬性領型設計和領型顏色都和衣領部位相關。出於這樣的考慮，研究者採用屬性感知的通道注意力模塊進一步在通道維度上捕捉關鍵的圖像特徵。首先屬性同樣被嵌入到高維空間中，其次和圖像特徵連接輸入到連續的兩個非線性的全連接層，分別進行維度縮減和維度增加 [8]，產生的注意力權重對圖像特徵進行調整。
可視化結果
研究者以在服飾場景下的細粒度相似度學習為目標，提出了ASEN網絡和兩種不同維度的注意力模塊。ASEN能夠同時學習多種特定屬性的嵌入空間，因而能夠在相應的空間中度量細粒度的服飾圖像相似度，是一種簡潔有效的端到端模型。大量的定量定性實驗證實了模型的有效性和可解釋性。
研究者在 FashionAI、DARN、DeepFashion數據集上進行了特定屬性的服飾檢索實驗，在Zappos50k數據集上進行了三元組關聯預測實驗。
兩種實驗形式不同，但本質相同，即均要求相對於某種屬性，相似服飾的距離近，不相似服飾的距離遠，而屬性特異的服飾檢索實驗對檢索返回序列的要求更高。
結果表明ASEN相對於不同的對比模型，在各種屬性上均能夠取得一致顯著的性能提升。在屬性特異的服飾檢索實驗中，對不同的query樣本，設置不同的屬性條件，檢索出的結果計算mean AP。表1-3展示了三個數據集上每個屬性下的性能和平均性能。在Zappos50k數據集，研究者採用 [7] 的測試方式，也取得了更高的性能。
表格 1 FashionAI數據集檢索性能
表格 2 DARN數據集檢索性能
表格 3 DeepFashion attribute prediction benchmark檢索性能
表格 4 Zappos50k數據集Triplet Prediction
研究者還展示了一些定性實驗結果，包括在FashionAI數據集上的檢索結果，空間注意力機制可視化結果以及屬性子空間可視化結果；在DeepFashion數據集還進行了in-shop clothes retrieval的reranking結果，顯示了ASEN的潛在應用價值。
下圖3展示了FashionAI數據集上的Top-8檢索結果，對屬性相關部位放大展示，可以看到V領服飾能夠檢索出V領服飾（第一行），無袖服飾能夠檢索出無袖服裝（第二行），而除了目標屬性之外，其他特徵表現出明顯的多樣性，例如返回服飾款式、色調、種類、背景各不相同。圖4展示了對ASA模塊進行可
視化的結果模型能夠定位屬性所關聯的部位，對於複雜的背景、模特姿勢等變化具有較強的魯棒性，最後一組圖像展示了對於無法從圖像中識別的屬性的注意力結果。
圖 3 FashionAI數據集檢索結果
圖 4 空間注意力模塊可視化結果
研究者還對FashionAI數據集上的八種屬性子空間進行了可視化，相同顏色的點表示圖像具有相同的屬性值，比如同為圓領衣服，在特定屬性的嵌入空間中，具有不同顏色的點可以很好地分離而具有相同顏色的點可以更加聚集。
換句話說，具有相同屬性值的圖像距離較近，而具有不同屬性值的圖像距離較遠，這說明通過ASEN學習的特定屬性嵌入空間對於單一屬性具有良好的判別性。
圖 5 特定屬性空間的可視化結果
華棠還介紹，為了通過細粒度的服飾相似度度量提升其檢索性能，最後，他們將細粒度的服飾相似度模型應用到傳統的in-shop clothes檢索任務上來。
首先，使用一般的檢索模型產生初始的檢索返回序列；接著利用ASEN模型在某種屬性上的細粒度相似性對初始序列進行重排，圖5展示了部分實驗結果。對於第一個例子，研究者通過袖子長度屬性對初步結果進行重新排序，短袖的圖片排在了前面。很顯然，在重排之後，檢索的結果變得更合理。
圖 6 Fashion Reranking
閱讀更多 AI報道 的文章
