當人工智能模型本身存在缺陷被攻擊時，那會是一種什麼情形？可以想象一下：一條人潮湧動的大街上，有一個十字路口，一輛無人駕駛車駛了過來，禁止通行標識燈亮了，但因攻擊者在燈上加了噪音，智能車將其識別為允許通行標識燈，繼續高速通行，那後果不堪設想。
隨著人工智能的大規模應用，安全會成為其發展的最大挑戰。近日，阿里安全、阿里雲天池平臺聯合人工智能領域國際頂級會議IJCAI（全稱：International Joint Conference on Artificial Intelligence），發起人工智能對抗算法競賽，探索對抗攻擊時，如何解決AI模型的安全性問題。目前，賽題和日程已在天池平臺公佈。
阿里聯合IJCAI發起安全AI對抗賽，賽題已在天池平臺發佈。
阿里安全圖靈實驗室高級專家華棠介紹，這次比賽主要針對圖像分類，包括模型攻擊與模型防禦，阿里公開110個類目，共計11萬張左右圖片，供選手使用。參賽選手可以作為攻擊方，對圖片進行輕微擾動生成對抗樣本，使模型識別錯誤，或識別成指定的錯誤類別；也可以作為防禦方，構建一個更加魯棒的模型，準確識別對抗樣本。
據瞭解，為強調面向真實場景，這次競賽採用的是實際場景的圖片識別任務進行攻防對抗。除真實數據外，還包括對計算量的嚴格限制，以及對擾動噪音的限制，這更能還原真實的安全與黑灰產的攻防。
對抗樣本攻擊是近幾年學界與工業界才關注並熱議的話題。在國際知名頂會NIPS2017年和2018年會議上，谷歌大腦曾連續舉辦對抗樣本攻防競賽，普及這一課題。不過，與阿里聯合IJCAI舉辦的這次競賽不同的是，他們利用的樣本集均來自學術數據集ImageNet。
“未來的安全能力一定是建立在智能與算法基礎之上，我們希望提供真實的、對抗的場景，建立前沿研究和具體業務之間的橋樑, 進而反哺和促進整個人工智能的發展。”阿里安全圖靈實驗室負責人、資深專家薛暉說，這也是阿里首次提出安全AI概念的初衷。
通過大賽發掘安全AI人才也是預期目標之一。據統計，每年國內安全人才缺口在幾十萬人，且在不斷擴大，同時掌握安全和AI技術的人才更是少之又少。薛暉說，伴隨AI、IOT的廣泛應用，人工智能時代安全AI的研究和應用將會是一片藍海，希望通過競賽鼓勵更多人共同研究安全AI。
據悉，經過初賽、複賽和答辯，排名前三甲的隊伍，除獲得一千至五千美元不等的獎金外，還會被邀請參加今年8月在澳門舉辦的IJCAI會議。包括清華大學朱軍教授、中國科學技術大學張衛明教授、浙江大學紀守領研究員、阿里達摩院高級研究員華先勝等在內的AI安全領域專家擔任競賽的評審。
值得一提的是，朱軍等指導的清華大學團隊曾在NIPS2017對抗樣本攻防競賽中，戰勝多家世界著名高校的團隊，在三項比賽中全部奪冠；紀守領所在的NESA Lab提出了一種新型的對抗性驗證碼，在保持用戶體驗的同時，能防範來自打碼平臺等黑灰產的破解。
公開信息顯示，IJCAI是人工智能領域最重要的國際頂級學術會議，被中國計算機學會推薦為計算機學科領域A類國際會議，從1969年開始每兩年舉辦一次，自2016年起改為每年一次。
閱讀更多 阿里安全 的文章
