【獵雲網北京】4月10日報道
近年來，機器學習作為人工智能行業的“重頭戲”，得到了前所未有的發展，其中基於計算機視覺的人臉識別技術更是滲透到了社會生活的方方面面。然而，這些看似無比“聰明”的AI系統卻時常會表現出“脆弱”的一面。
例如，在一些訓練數據無法覆蓋到的極端場景中，自動駕駛汽車的識別系統可能出現匪夷所思的決策，引發致人死亡的嚴重事故。
此外，這類極端情形也可能被惡意製造並利用，發動“對抗樣本攻擊”，即通過對輸入數據進行細微的、肉眼無法察覺的修改就可以誤導識別系統讓其給出錯誤判斷。比如百度、騰訊等研究機構就曾人為製作出誤導自動駕駛汽車的“障礙物”，讓車輛駛入逆行車道甚至面臨撞擊風險。
其實這些安全風險的背後都是由於現有的人工智能存在技術性缺陷，即算法漏洞，隨著人工智能的落地應用逐步從語音識別、人臉識別等受限場景延伸至金融決策、醫療診斷、自動駕駛等關鍵核心場景，算法漏洞的威脅將愈發凸顯出來。
為了解決以上問題，已經有科技公司開始了相關研究和應用開發，包括百度針對對抗樣本開發的工具包AdvBox，IBM推出的檢測模型及對抗攻擊的開源工具箱ART（Adversarial Robustness Toolbox）。
最近，一家定位為“安全可控第三代人工智能”的創業公司，孵化自清華大學AI研究院的RealAI（瑞萊智慧）正式發佈業界首個針對AI在極端和對抗環境下的算法安全性檢測與加固的工具平臺——RealSafe人工智能安全平臺。與百度、微軟推出的工具不同，RealSafe是目前算法安全領域出現的首個平臺級產品。
業界首個AI模型“殺毒軟件”，RealAI開闢全新商業賽道
據RealAI CEO田天介紹，不同於用AI技術賦能網絡安全、安防等傳統安全領域，算法安全關注的是人工智能本身的安全性，這一安全風險本質上由人工智能“技術短板”所導致，將是限制人工智能發展最明顯的“軟肋”。
目前學術界跟產業界都開始意識到算法安全的重要性，2018年中國信息通信研究院安全研究編制的《人工智能安全白皮書》中，將“算法安全”列為人工智能六大安全風險之一，只不過在具體的應對措施上，目前仍然存在諸多挑戰。
第一，作為新興領域，業界對於如何評價算法模型的安全性並沒有清楚的定義。而隨著攻防相互的發展，對抗樣本等新型攻擊手段層出不窮，而且變得愈發複雜，尤其在開源社區、工具包的加持下，高級複雜攻擊方法快速增長，但是相關防禦手段的升級卻難以及時跟上。
第二，對抗樣本等算法漏洞檢測存在較高的技術壁壘，目前市面上缺乏自動化檢測評估工具，而大部分企業與組織不具備該領域的專業技能來妥善應對日益增長的惡意攻擊。因此，在潛在層面上，隨著人工智能的大規模應用，算法漏洞帶來的安全威脅將持續升級。
所以，田天表示，就如網絡安全時代，網絡攻擊的大規模滲透誕生出殺毒軟件，RealAI團隊希望通過RealSafe平臺打造出人工智能時代首個“殺毒軟件”，幫助企業高效應對人工智能時代下算法漏洞孕育出的“新型病毒”。
從安全測評到防禦加固，RealSafe高效應對算法威脅
據介紹，RealSafe平臺提供從算法安全評測到防禦加固整體解決方案，主要支持兩大功能模塊：模型安全測評、防禦解決方案。
其中，模型安全評測主要為用戶提供AI模型安全性評測服務。用戶只需接入所需測評模型的SDK或API接口，選擇平臺內置或者自行上傳的數據集，平臺將基於多種算法生成對抗樣本模擬攻擊，並綜合在不同算法、迭代次數、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細的測評報告。目前已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。
防禦解決方案則是為用戶提供模型安全性升級服務，目前RealSafe平臺支持五種去除對抗噪聲的通用防禦方法，可實現對輸入數據的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。在外防禦效果上，根據實測來看，部分第三方的人臉比對API通過使用RealSafe平臺的防禦方案加固後，安全性可提高40%以上。
而且為了幫助更大範圍內的企業高效應對算法威脅，RealSafe平臺還具備以下兩大優勢：
• 組件化、零編碼的在線測評：相較於ART、FoolBox等開源工具需要自行部署、編寫代碼，RealSafe平臺採用組件化、零編碼的功能設置，免去了重複造輪子的精力與時間消耗，用戶只需提供相應的數據即可在線完成評估，學習成本低，無需擁有專業算法能力也可以上手操作。
可視化、可量化的評測結果：為了幫助用戶提高對模型安全性的概念，RealSafe平臺採用可量化的形式對安全評測結果進行展示，根據模型在對抗樣本攻擊下的表現進行評分，評分越高則模型安全性越高。此外，RealSafe平臺提供安全性變化展示，經過防禦處理後的安全評分變化以及模型效果變化一目瞭然。
隨著模型攻擊手段在不斷複雜擴張的情況下，RealSafe平臺將持續提供廣泛且深入的AI防禦手段，幫助用戶獲得實時且自動化的漏洞檢測和修復能力。
從數字世界到物理世界，RealAI落地更多安全周邊產品
隨著機器學習模型不斷的升級演化，“對抗樣本”已經演變成一種新型攻擊手段，並且逐漸從數字世界蔓延到物理世界。
因此，除了針對數字世界的算法模型推出安全評測平臺，RealAI團隊也聯合清華大學AI研究院圍繞多年來積累的領先世界的研究成果落地了一系列AI攻防安全產品，旨在為更多場景保駕護航。
比如通過佩戴帶有對抗樣本圖案的“眼鏡”，黑客可以輕易破解商用手機的面部解鎖，通過在胸前張貼特製花紋實現在AI監控下的“隱身”，以及通過在車輛上塗裝特殊花紋躲避AI對車輛的檢測。發現類似新型漏洞的同時，RealAI也推出相應的防禦技術，支持對主流AI算法中的安全漏洞進行檢測，並提供AI安全防火牆對攻擊AI模型的行為進行有效攔截。
人工智能的大潮滾滾而來，隨之而來的安全風險也將越來越多樣化，尤其近年來因AI技術不成熟導致的侵害風險也頻頻發生，可以說，算法漏洞已逐漸成為繼網絡安全、數據安全後又一大安全難題。而RealSafe人工智能安全平臺的出現，不僅在為垂直行業降低應對安全風險的門檻與成本，同時其標準化的平臺級產品，也是AI安全這個新興領域，邁向健康可控的重要標誌。
閱讀更多 獵雲網 的文章
