愛奇藝聯合IJCAI舉辦算法大賽 2020iCartoonFace正式啟動

賽事背景

近年來,伴隨著卡通產業的迅猛發展,卡通視頻呈現出爆炸性增長。而實現對這些卡通視頻智能理解的第一步就是需要識別出這些視頻裡面的卡通人物身份信息。同時伴隨著人臉識別技術的發展,人物識別精度大幅提升,在Labeled Faces in the Wild(LFW)等圖片數據集上,人臉識別精度甚至超過了人類的識別能力。然而目前,對卡通人物身份的識別卻鮮有研究,相關的數據集也比較少。

對於深度學習來說,這些已有的卡通識別數據集存在著數據量較小、噪聲比例較大的問題。因此構建一個大規模、高質量的卡通識別數據集對於解決問題卡通人物身份的識別至關重要。

愛奇藝聯合IJCAI PRICAI 2020 舉辦iCartoonFace挑戰賽正式啟動,此次挑戰中將對參賽者公佈目前最大的手動標註卡通人臉檢測數據集和最大的手動標註卡通人臉識別數據集。也是目前第一個大規模、高質量的卡通識別數據集和檢測數據集。希望通過iCartoonFace挑戰賽解決卡通人物身份的識別問題,同時提升學術界及工業界在人物識別、人物檢測能力的精確度。

愛奇藝聯合IJCAI舉辦算法大賽 2020iCartoonFace正式啟動


賽事任務

任務A:iCartoonFace卡通檢測

iCartoonFace卡通檢測挑戰賽的賽事任務為:對於給定的圖片,算法需要給出圖片中所有卡通人物的人臉檢測框信息。


任務B:iCartoonFace卡通識別

iCartoonFace卡通識別挑戰賽的賽事任務為:對於Probe集中的給定圖片,算法需要根據卡通人物身份相似度對Gallery集中所有圖片進行排序。依據排序的結果,來評估算法的性能。

數據集

iCartoonFace檢測數據集

iCartoonFace檢測數據集是一個包含多種風格的、大規模的卡通臉檢測數據集。

iCartoonFace檢測數據集的統計特性如下:

· 大規模:iCartoonFace檢測數據集中,訓練集包含50,000張圖片,共91,163個卡通臉,測試集中包含10,000張圖片,共18,647個卡通臉,是目前已知的關於卡通臉檢測的最大的手工標註數據集。

· 高質量:數據集在人工標註的同時,經過多次質檢,保證了錯誤率在5%以內。其中訓練集中超過60%的卡通臉分辨率大於50x50,詳見圖1。

愛奇藝聯合IJCAI舉辦算法大賽 2020iCartoonFace正式啟動

圖1 iCartoonFace檢測卡通臉分辨率的統計特性


iCartoonFace識別數據集

iCartoonFace識別數據集是一個大規模、高質量的卡通人物身份識別數據集。iCartoonFace識別數據集的統計特性如下:

· 大規模:iCartoonFace識別數據集包含5013個卡通人物、389,678張圖片,來源於1,302卡通專輯,是已知目前最大的手工標註卡通人物身份識別數據集。

· 高質量:數據集手工標註完成之後,我們採用交叉驗證的方式保證數據集標註錯誤率在5%以內。所有圖片的分辨率高於100x100,超過65%的圖片分辨率高於200x200。

· 多樣性和挑戰性:從圖3可以看到,不同的卡通人物具有非常相近的外形特徵,同一個的卡通人物由於的表情、遮擋、角度等影響導致外形具有非常大的差異性。


愛奇藝聯合IJCAI舉辦算法大賽 2020iCartoonFace正式啟動

圖2 iCartoonFace識別數據集的統計特性


愛奇藝聯合IJCAI舉辦算法大賽 2020iCartoonFace正式啟動

圖3 (a) 不同的人物具有很大的外形相似性; (b)相同的人物具有很大的外形差異性


評測指標

任務A:iCartoonFace卡通檢測

在我們的任務A中,使用mAP度量來評估算法的性能。平均平均精度(mAP)定義為所有K類AP的平均值,如下式所示:


愛奇藝聯合IJCAI舉辦算法大賽 2020iCartoonFace正式啟動

在上述表達式中,AP被定義為插值精度召回曲線下的面積,在任務A中K的值為1。


任務B:iCartoonFace卡通識別

給定一張Probe集中的照片和至少包含一張相同卡通人物身份圖片的Gallery集,算法需要根據與給定圖片中卡通人物身份相似度對Gallery集中所有圖片進行排序。具體來說,Probe集中包含N個卡通人物、每個卡通人物有M張照片。對於每個卡通人物的M張照片,每次選取一張圖片作為probe照片,然後把剩餘的M-1張,在單獨每一張和distractors一起組成Gallery集,然後進行比對,然後計算rank1精度。經過N*M*(M-1)次比對後,得到的平均rank1精度作為本次任務的評價指標。

對於任務A,總的模型大小不應超過200M,單張卡通圖片(1920x1080)的運行時間不應超過50ms(舉辦方提供的運行環境下,V100或者P40機器);對於任務B,總的模型大小不應超過200M,單個卡通臉的運行時間不應超過10ms(舉辦方提供的運行環境下, V100或者P40機器)。對於這兩個任務,將要求排行榜前5名的團隊提交詳細的描述他們的方法,以及源代碼或可執行軟件。競賽委員會將仔細檢查參賽作品,排除無效作品。


參賽規則

本次比賽是以團隊的形式參賽,每個團隊可以有一個或者多個成員,而每個人不能是多個團隊的成員。

比賽結束後,綜合客觀評價標準和專家評審團得分對各個參賽隊進行排名,前三名將獲得本次比賽頒發的獎狀和獎金,對於任務A和任務B,第一名、第二名、第三名的獎金分別為4000美元、2000美元和1000美元。


論文提交

請根據IJCAI-PRICAI 2020的論文要求,進行文章的提交。

2020 IJCAI 通道:https://www.ijcai20.org

賽事日程

· 2019年12月20日:開放網址和報名

· 2019年12月20日:提供數據集下載

· 2020年3月24日:開始提交結果

· 2020年5月14日:在線報名關閉

· 2020年5月29日:結束結果提交

· 2020年6月8日:參賽結果評測

· 2020年6月12日:宣佈比賽結果、準備提交論文

· 2020年6月20日:結束論文提交

(因COVID-19疫情因素,賽事日程時間後續可能會有所調整)

前往大賽報名通道:http://challenge.ai.iqiyi.com/detail?raceId=5def71b4e9fcf68aef76a75e


分享到:


相關文章: