加州大學伯克利分校和Ecole des Ponts Paris Tech的研究人員最近開發了一種深度學習方法，用於發現藝術收藏中反覆出現的視覺模式。他們的論文預先發布在arXiv上，將於6月份舉行的著名計算機視覺活動CVPR 2019 上發表。
藝術家獨特的藝術呈現方式對視覺AI來說是一種挑戰雖然每件藝術品看起來都很獨特，但藝術家經常使用常規的視覺元素或圖案（天使，風車等）。例如，評論家認為佛蘭德畫家Jan Brueghel的一些畫作僅僅是他自己作品的模仿或改編，以及他父親Pieter Breughel的作品。
在他們的研究中，藝術史學家經常試圖繪製不同藝術作品之間的視覺聯繫，因為這可以揭示他們的出處和作者身份。然而，在大型藝術收藏中發現類似的視覺模式對於人類和機器來說都是非常具有挑戰性的。
“我們在與藝術歷史學家伊麗莎白·霍尼格（ Elizabeth Honig）進行了一次演講和討論後開始了這個項目，在那裡她提出了這樣的對應信息，以及為什麼它們在她對布魯格爾作品的研究中對她很重要，”進行這項研究的研究人員之一Mathieu Aubry ，告訴TechXplore。“我們的第一個目標是通過在數字圖像集中自動識別直接複製在不同作品之間的細節，使藝術史學家的工作變得更容易和更具可擴展性，儘管表現風格的細微修改和差異（例如雕刻，繪畫，繪畫等）。“
在他們最近的研究中，Aubry及其同事提出了一種方法，可以自動發現大型藝術收藏品中反覆出現的視覺模式。基本上，他們訓練了一個無監督的機器學習模型，以找到不同藝術品中近乎重複的視覺元素之間的對應關係。
“我們的方法的主要新穎之處在於，在沒有人工監督的情況下，學習一種特別適合我們任務的深度圖像描述符：在不同的表現形式之間匹配精確的副本，”Aubry解釋說。“為此，我們引入了一個程序，使用鄰居匹配之間的空間一致性來驗證候選對應。”
鑑定師可能面臨失業研究人員使用相鄰特徵匹配之間的空間一致性作為監督微調信號。這種改編的功能可以實現更準確的風格不變匹配。結合基於幾何驗證的標準發現方法，該特徵允許其深度學習方法識別大型藝術數據集中的重複模式。
“我們的CVPR工作主要集中在計算機視覺方面。與藝術史學家合作應用我們開發的方法來分析藝術品收藏仍在進行中，”Aubry說。“我們認為它將真正改變藝術歷史學家將要進行的研究的規模和類型，允許他們以更大的規模尋找和分析藝術品之間的聯繫。事實上，當試圖僅為一些細節註釋連接時在一箇中等規模的數據集中，我們親眼目睹了這樣一個過程手動執行的繁瑣和昂貴程度。“
現狀與發展Aubry和他的同事們在幾個數據集上評估了他們的方法，包括Oxford5K照片數據集和歸屬於Brueghel家族的新註釋的藝術品數據集。在這些評估中，他們的方法取得了顯著的成果，超越了其他最先進的技術，以揭示藝術品中的視覺模式。此外，他們的方法在大時間差距位置數據集上實現了最先進的性能，有效地定位了歷史建築照片和現代建築照片。
在未來，Aubry和他的同事設計的深度學習方法可以幫助藝術史學家發現大型藝術收藏品的視覺模式。根據研究人員的說法，他們的方法也可以很容易地轉移到其他問題，如地理定位和歷史水印識別。
“我們希望通過直接與藝術史學家合作，將我們的方法應用到他們的特定需求並幫助他們使用它，推動我們的方法在人文學科中的應用，”Aubry說。“我們還計劃將深度學習中的冗餘和空間一致性擴展到不同類型的圖像和不同類型的應用程序。”
閱讀更多 小明同學vvvvv 的文章
