人臉識別再曝安全漏洞:清華創業團隊推全球首個AI模型"殺毒軟件"

機器之心報道

參與：澤南

瑞萊智慧剛剛發佈的首個 AI 安全平臺，發現了迄今為止最為「重大」的人臉識別安全漏洞。

4 月 7 日，來自清華的 RealAI（瑞萊智慧）發佈了 RealSafe 人工智能安全平臺，隨之推出的測試結果令人驚訝：通過平臺對微軟、亞馬遜雲服務的人臉比對演示平臺進行測試顯示，基於 RealSafe 平臺生成的對抗樣本「噪音」能夠極大干擾兩大主流人臉比對平臺的識別結果。 當前較為領先，且廣泛被採用的多家人臉識別技術，現在可以被輕易破解了。
RealAI 研究團隊選取了一組不同的人臉圖片，通過 RealSafe 平臺對其中一張圖片生成對抗樣本，但不影響肉眼判斷，添加「對抗樣本」前後分別輸入微軟、亞馬遜人臉比對平臺中。 最終結果顯示，添加「噪音」擾動前，兩張圖片相似度低，微軟、亞馬遜平臺判定為「不相同」，但添加擾動後，幾套系統均錯誤識別為「相同」，甚至在微軟平臺前後相似度的變化幅度高達 70% 以上。

檢測出人臉識別系統「漏洞」的 RealSafe 人工智能安全平臺，是全球首個針對算法模型本身進行安全的檢測平臺，內置領先的攻防算法模型，旨在為企業用戶提供從算法測評到防禦升級的整體解決方案。 而針對人臉比對系統的攻擊測試，是 RealSafe 人工智能安全平臺為用戶提供的對抗樣本攻防在線體驗。 具體是什麼樣的效果，可以看這個 Demo 視頻：

通過 RealAI 提供的測試工具，只需要上傳一張圖片作為示例，為原圖生成的帶有干擾圖片即可讓各家大廠的人臉識別系統將人物錯誤地識別為指定的別人。

攻陷所有人臉識別平臺
真的能像視頻中那樣嗎？在正式發佈之前，我們得到了對 RealSafe 系統進行測試的機會，上手進行了一番體驗。首先是用兩個人的照片進行原圖對比，AI 可以識別出是不同的人：

點擊「生成對抗樣本」按鈕，經過十秒的處理時間，模型就為我們生成了一個基於 C 羅照片的「梅西」對抗樣本照片：

對於人類來說，除了人臉部位的多了一些不清晰的擾動之外，經過處理後的圖片（上圖右）完全不會讓我們認錯圖片上的人。但對於目前的人臉識別算法來說情況就不一樣了：

在其他公司的人臉相似度對比模型上，AI 把 C 羅的照片錯認為是梅西：「同一個人的可能性極高」。我們嘗試了上傳梅西的不同照片，相似度應該是 95% 左右。而如果用 C 羅未處理過的照片，或者貝爾的照片，相似度則只有 75% 左右，並顯示「同一個人的可能性較低」。
「對抗樣本」成為「AI 病毒」
我們測試了國內幾家科技巨頭的人臉識別模型，對抗樣本的「偽裝」效果均比較明顯。瑞萊智慧的研發人員告訴我們：這種對抗樣本同樣也可以使亞馬遜、微軟等人臉識別平臺的服務出現嚴重的識別錯誤。 在人臉解鎖手機和支付系統如此普遍的今天，對抗樣本方法的進步讓我們開始擔心財產與隱私安全。在一些需要通過人臉進行身份驗證的場景，比如金融遠程開戶、人臉門禁、酒店入住管理等場景，有意的攻擊都有可能做到頂替身份，造成財產、隱私等損失。

RealAI 表示，這是世界唯一通過 AI 對抗樣本技術攻破商用手機人臉解鎖的案例。
看來破解 AI 形成的隱患離我們並不遠，為避免可能的損失，我們要更加註意對個人信息的保護。例如在一些刷臉支付場景中，在通過人臉驗證是否為本人後，進一步需求輸入手機號等信息進行二次驗證。在深度學習模型普遍脆弱、容易被攻擊成功的當下，普通消費者不能只依賴人工智能技術，還需要保持足夠的警惕，保護個人信息，不然仍有可能出現身份被盜取等問題。 瑞萊智慧表示，經過不斷的升級演化，今天的對抗樣本攻擊不僅僅停留在數字世界，針對物理世界的攻擊早已開始出現：在路面上粘貼對抗樣本貼紙模仿合併條帶誤導自動駕駛汽車拐進逆行車道、佩戴對抗樣本生成的眼鏡破解手機面部解鎖、胸前張貼對抗樣本貼紙即可實現隱身.……

通過 AI 對抗樣本圖案躲避 AI 車輛檢測。
對抗樣本可以導致人工智能系統被攻擊和惡意侵擾，產生與預期不符乃至危害性結果，對於人臉識別、自動駕駛等特定領域，可能造成難以挽回的人員和財產損失，對抗樣本已經成為人工智能系統可能面臨的新型「病毒」。 目前以「對抗樣本」為代表的算法安全仍是新興領域，業界對於如何評價算法模型的安全性並沒有清楚的定義，並且對抗樣本等攻擊手段變得愈發複雜。在開源社區、工具包的加持下，高級複雜攻擊方法快速增長，相關防禦手段的升級卻難以跟上。 另一方面，對抗樣本等算法漏洞檢測存在較高的技術壁壘，目前市面上缺乏自動化檢測工具，而大部分企業與組織不具備該領域的專業技能來妥善應對日益增長的惡意攻擊。在潛在層面上，隨著人工智能的大規模應用，算法安全漏洞帶來的安全威脅將持續升級。

模型安全評測主要為用戶提供 AI 模型安全性評測服務。用戶只需接入所需測評模型的 SDK 或 API 接口，選擇平臺內置或者自行上傳的數據集，平臺將基於多種算法生成對抗樣本模擬攻擊，並綜合在不同算法、迭代次數、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細的測評報告。目前 RealSafe 已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

防禦解決方案則是為用戶提供模型安全性升級服務，RealSafe 平臺支持五種去除對抗噪聲的通用防禦方法，可實現對輸入數據的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。根據上述的模型安全評測結果，用戶可自行選擇合適的防禦方案，從而達到一鍵提升模型安全性的目的。 瑞萊智慧表示，隨著模型攻擊手段在不斷複雜擴張，RealSafe 平臺還將持續提供更加豐富的 AI 防禦手段，幫助用戶獲得實時且自動化的漏洞檢測和修復能力。
「零編碼」+「可量化」：高效應對算法威脅 由 2018 年 7 月成立的瑞萊智慧，是一家孵化自清華大學 AI 研究院的科技公司，它由清華 AI 研究院院長張鈸、教授朱軍擔任首席科學家，田天任 CEO。RealAI 在 AI 安全領域擁有國際領先的技術優勢，團隊曾率先提出多項攻防算法，相關研究成果曾被圖靈獎得主作為代表性方法大幅引用，被主流開源軟件 FoolBox、Cleverhans 等收錄為標準的對抗攻擊算法。
在人工智能領域的國際大賽中，RealAI 團隊與清華聯合組成的戰隊曾戰勝斯坦福、騰訊安全等世界頂級高校、研究機構獲得多項世界冠軍。 RealAI 表示，本次推出的算法模型安全檢測平臺，除了可以幫助企業高效應對算法威脅還具備以下兩大優勢：

• 組件化、零編碼的在線測評：相較於 ART、Foolbox 等開源工具需要自行部署、編寫代碼，RealSafe 平臺採用組件化、零編碼的功能設置，免去了重複造輪子的精力與時間消耗，用戶只需提供相應的數據即可在線完成評估，極大降低了算法評測的技術難度，學習成本低，無需擁有專業算法能力也可以上手操作。
• 可視化、可量化的評測結果：為了幫助用戶提高對模型安全性的概念，RealSafe 平臺採用可量化的形式對安全評測結果進行展示，根據模型在對抗樣本攻擊下的表現進行評分，評分越高則模型安全性越高。此外，RealSafe 平臺提供安全性變化展示，經過防禦處理後的安全評分變化以及模型效果變化一目瞭然。

考慮到當前人臉識別技術應用最為廣泛，RealAI 此次推出的 RealSafe 人工智能安全平臺主要支持針對人臉比對場景的模型安全評估與檢測。未來 RealSafe 平臺還將持續迭代，陸續上線針對目標檢測、圖像分類等應用場景的模型安全檢測，旨在通過安全可控的人工智能為更多場景保駕護航。 今年 3 月，RealAI 獲得了天使+輪的融資，近兩輪總額已達到 1 億元人民幣。對於這家公司而言，如何探索技術商業化的道路已成為擺在面前的挑戰。這家公司表示將致力於打造安全可控的第三代人工智能，實現安全（Robust）、可擴展（Extendable）、可靠（Assurable）和落地（Landable）的 AI 解決方案。

閱讀更多 機器之心Pro 的文章

關鍵字: 人工智能 可以很 微軟