近日，Google AI 宣佈發佈 Open Images V6，和 V5 版本相比，它極大地擴展了 Open Images 數據集的註釋，增加了大量新的視覺關係（例如，“狗抓飛盤”）、人類動作註釋（例如，“女人跳躍”）和水平圖像標籤（例如，“paisley”）。
值得注意的是，該版本還添加了本地化敘述，這是一種全新的多模態註釋形式，由同步的語音、文本和鼠標跟蹤所描述的對象組成。在 OpenImagesV6 中，這些本地化的敘述可用於 500k 圖像。此外，為了便於與之前的工作進行比較，Google 還為 COCO 數據集的全部 123k 圖像發佈了本地化的敘述註釋。
Open Images V6 網址：https://g.co/dataset/openimages
COCO 數據集網址：http://cocodataset.org/
Open Images V5 中的註釋模式：水平圖像標籤、邊界框、實例分段和視覺關係。圖片來源：1969 年 D.Miller 的 Camaro RS/SS、anita kluska 的 the house、Ari Helminen 的 Cat Cafe Shinjuku calico、Andrea Sartorati 的 Radiofiera-Villa CorDELLina Lombardi、Montecchio Maggiore（VI）-agosto 2010。
從很多方面來講，Open Images 是最大的帶註釋圖像數據集，用來訓練用於計算機視覺任務的最新深度卷積神經網絡。
視頻網址：https://youtu.be/mZqHVUstmIQ
本地化敘述的例子。圖片來源：Kasia 的 Spring is here
本地化敘述
本地化敘述背後的動機之一是研究、利用視覺和語言之間的聯繫，通常是通過圖像字幕加上人的文本描述完成。然而，圖像字幕的侷限性之一是缺乏視覺基礎，即我們不知道文本描述的是圖像中的哪一塊。為了減輕這一問題，以前的一些數據集對文本描述中出現的名詞畫了一個後驗框。相反，在本地化的敘述中，文本描述的每個詞都是有對應位置的。
圖像內容和字幕之間的不同層次的對應。從左到右：整個圖像的標題（COCO）；矩形框的名詞（Flickr30k 實體）；鼠標跟蹤段的每個單詞（本地化敘述）。圖片來源：COCO，Flickr30k Entities，和 Rama 的 Sapa。
本地化的敘述是由註釋者生成的，他們提供圖像的口頭描述，同時將鼠標懸停在所描述的區域上。語音註釋是其方法的核心，它直接將描述與其所引用的圖像區域連接起來。為了使描述更易於訪問，註釋者將自動語音轉錄結果與手動轉錄結果對齊。這恢復了描述的時間戳，確保語音、文本和鼠標跟蹤這三種模式正確且同步。
手動和自動轉錄的對齊，圖像是基於 Freepik 的原創作品設計的。
在說話的同時進行指示是非常直觀的，為研究人們描述圖像創造了更多方法。例如，我們觀察到，在表示對象的空間範圍時有不同風格的線條——環繞、劃滿線條、下劃線等等——對這些風格的研究可以為新用戶界面的設計帶來有價值的見解。
鼠標跟蹤與圖像下面的單詞對應的區域。圖片來源：Via Guglielmo Marconi，Elliott Brown 的 Positano-Hotel Le Agavi-boat，vivek jena的air frame，以及弗吉尼亞州立公園的 CL P1050512。
這些本地化的敘述所代表的額外數據量到底有多大？據瞭解，鼠標軌跡的總長度約為 6400 公里，如果不停地朗讀，所有的敘述將需要約 1.5 年的時間讀完！
新的視覺關係、人類行為和水平圖像註釋
除了本地化的敘述之外，在 OpenImagesV6 中，Google 將視覺關係註釋的類型增加了一個數量級（高達 1.4K），例如添加了“男人滑滑板”、“男人和女人牽著手”和“狗抓飛盤”等。
圖片來源：IMG 作者 James Buck，DSC 作者 Quentin Meulepas，dsc06464 作者 sally9258。
自從計算機視覺誕生以來，圖像中的人就一直是其研究的核心領域之一，理解這些人在做什麼對許多應用來說至關重要。因此，Open Images V6 還包含了 250 萬個人類執行獨立動作的註釋，比如跳躍、微笑或躺下。
圖片來源：Boo Ph 的 DSCs1341（2），Johannes Gardner 的 Richard Wagner Spile 2015。
最後，Google 還添加了 2350 萬個新的人工驗證的水平圖像標籤，有接近 20000 個類別，大小超過 59.9M。
Open Images 挑戰賽
在去年 5 月發佈的第 5 版 Open Images V5 中包含 9M 圖像，並有 36M 的水平圖像標籤、15.8M 的邊界框、2.8M 的分段實例和 391k 的視覺關係。
與數據集本身一樣，2019 年 Google舉辦了 Open Images 挑戰賽，比賽分為目標檢測、實例分割和視覺關係檢測三個賽道，對這三個方向技術的最新進展起到了積極的推動作用。
大賽介紹
- 目標檢測賽道
目標檢測賽道要求預測對象實例周圍的邊界框。
訓練集包含 12.2M 的邊界框，跨越 500 個類別，覆蓋 170 萬張圖片。為了確保準確性和一致性，這些邊界框大部分是由專業註釋員手工繪製的。數據集圖像非常多樣化，通常包含多個對象的複雜場景——平均每張圖像有 7 個對象。
示例圖片：Rhys A 的作品 Mark Paul Gosselaar 彈吉他
比賽網址：https://www.kaggle.com/c/open-images-2019-object-detection
- 實例分割賽道
實例分割賽道要求提供對象的分段掩碼。
訓練集包含 300 個類別中 2.1M 分段實例掩碼；驗證集包含額外的 23k 掩碼。訓練集掩碼是由最先進的交互式分割過程產生的，在這個過程中，專業的人類註釋者迭代地校正分割神經網絡的輸出。為保證質量，驗證和測試集掩碼是手動註釋的。
訓練組註釋示例。左圖：Gary Stevens 1995 年拍攝的無錫科技園；右圖：Ari Helminen 拍攝的咖啡館的貓咪
比賽網址：https://www.kaggle.com/c/open-images-2019-instance-segmentation
- 視覺關係檢測賽道
視覺關係檢測賽道要求檢測對象對以及連接它們的關係。
訓練集包含 329 個關係（三對三）和 375k 訓練樣本。這些關係既包括人與物的關係（例如“女人彈吉他”、“男人拿麥克風”），也包括物與物的關係（例如“桌子上的啤酒”、“車裡的狗”），還包括物與物的屬性關係（例如“手提包是皮革做的”和“長凳是木製的”）。
彈吉他的人
比賽網址：https://www.kaggle.com/c/open-images-2019-visual-relationship
大賽獎金
挑戰賽的總獎金為 75,000 美元，在三個賽道之間平均分配。其中：
- 第一名：$ 7,000
- 第二名：$ 6,000
- 第三名：$ 5,000
- 第四名：$ 4,000
- 第五名-：$ 3000
Open Images V6 是改進圖像分類、目標檢測、視覺關係檢測和實例分割的統一標註的一個重要的定性和定量步驟，它採用了一種新穎的方法將視覺和語言與局部敘述聯繫起來。Google 希望 Open Images V6 將進一步促進場景理解的研究進展。
via：https://ai.googleblog.com/2020/02/open-images-v6-now-featuring-localized.html
https://www.kaggle.com/c/open-images-2019-object-detection
https://storage.googleapis.com/openimages/web/challenge2019.html#instance_segmentation
https://www.kaggle.com/c/open-images-2019-visual-relationship
閱讀更多 白帽子 的文章
