原文來源於AI科技大本營（ID:rgznai100)
在2019年百大人物峰會上，創新工場創始人李開復談及數據隱私保護和監管問題時，表示：“人們不應該只將人工智能帶來的隱私問題視為一個監管問題，可嘗試用‘以子之矛攻己之盾’——用更好的技術解決技術帶來的挑戰，例如同態加密、聯邦學習等技術。”
那麼最近備受關注、被越來越多提及的聯邦學習是什麼？如何解決人工智能應用中數據隱私保護帶來的挑戰？
▌“聯邦學習”到底是什麼？能解決什麼問題？
在回答 “聯邦學習” 是什麼之前，我們需要了解為什麼會有這樣的技術出現，它的出現是為了解決什麼問題。
近年來，隨著人工智能技術的發展和更廣泛的應用，數據隱私保護也被越來越多地關注，歐盟出臺了首個關於數據隱私保護的法案《通用數據保護條例》（General Data Protection Regulation, GDPR），明確了對數據隱私保護的若干規定，中國在 2017 年起實施的《中華人民共和國網絡安全法》和《中華人民共和國民法總則》中也指出 “網絡運營者不得洩露、篡改、毀壞其收集的個人信息，並且與第三方進行數據交易時需確保擬定的合同明確約定擬交易數據的範圍和數據保護義務。” 這意味著對於用戶數據的收集必須公開、透明，企業、機構之間在沒有用戶授權的情況下數據不能交換。
這給人工智能應用給機器學習帶來的挑戰是：如果機構之間的數據無法互通，一家企業一家機構數據量有限，或者是少數巨頭公司壟斷大量數據，而小公司很難獲得數據，形成大大小小的“數據孤島”。在這種沒有權限獲得足夠多的用戶數據的情況下，各個公司尤其是小公司，如何建模？
在這種情況下，“聯邦學習”的概念應運而生。所謂 “聯邦學習”，首先是一個“聯邦”。不同於企業之前的“各自為政”，擁有獨立的數據和獨立的模型，聯邦學習通過將企業、機構納入“一個國家、一個聯邦政府” 之下，將不同的企業看作是這個國家裡的 “州”，彼此又保持一定的獨立自主，在數據不共享的情況下共同建模，提升模型效果。所以“聯邦學習” 實際上是一種加密的分佈式機器學習技術，參與各方可以在不披露底層數據和底層數據的加密（混淆）形態的前提下共建模型。
Google 公司率先提出了基於個人終端設備的“橫向聯邦學習”（Horizontal Federated Learning），其核心是，手機在本地進行模型訓練，然後僅將模型更新的部分加密上傳到雲端，並與其他用戶的進行整合。目前該方法已在 Google 輸入法中進行實驗。一些研究者也提出了 CryptoDL 深度學習框架、可擴展的加密深度方法、針對於邏輯迴歸方法的隱私保護等。但是，它們或只能針對於特定模型，或無法處理不同分佈數據，均存在一定的弊端。
在國內，聯邦技術的研究由微眾銀行首席人工智能官（CAIO）楊強教授帶領微眾銀行 AI 團隊主導，並且首次提出了基於 “聯邦學習” 的系統性的通用解決方案，強調在任何數據分佈、任何實體上，均可以進行協同建模學習，解決個人 (to C) 和公司間 (to B) 聯合建模的問題，開啟了將聯邦學習技術進行商用，建立聯邦行業生態的探索。
▌如何在保護數據隱私前提下打破數據孤島？
因為孤島數據具有不同的分佈特點，所以在聯邦學習的技術方案中，也大致分為：橫向聯邦學習、縱向聯邦學習、聯邦遷移學習三種方案。
考慮有多個數據擁有方，每個數據擁有方各自所持有的數據集 Di 可以用一個矩陣來表示。矩陣的每一行代表一個用戶，每一列代表一種用戶特徵。同時，某些數據集可能還包含標籤數據。如果要對用戶行為建立預測模型，就必須要有標籤數據。可以把用戶特徵定義為 X，把標籤特徵定義為 Y。
比如，在金融領域，用戶的信用是需要被預測的標籤 Y；在營銷領域，標籤是用戶的購買願望 Y；在教育領域，則是學生掌握知識的程度等。用戶特徵 X 加標籤 Y 構成了完整的訓練數據（X，Y）。但是，在現實中，往往會遇到這樣的情況：各個數據集的用戶不完全相同，或用戶特徵不完全相同。具體而言，以包含兩個數據擁有方的聯邦學習為例，數據分佈可以分為以下三種情況：兩個數據集的用戶特徵（X1,X2,…）重疊部分較大，而用戶 (U1,U2…) 重疊部分較小；兩個數據集的用戶 (U1,U2…) 重疊部分較大，而用戶特徵（X1,X2,…）重疊部分較小；兩個數據集的用戶 (U1,U2…) 與用戶特徵重疊（X1,X2,…）部分都比較小。
可以看出，聯邦遷移學習解決了不同樣本（數據集）、不同特徵維度之前聯合建模的問題，第一次讓不同領域的企業之間在保護彼此數據隱私的前提下實現跨領域創造價值。例如，銀行擁有用戶購買能力的特徵，社交平臺擁有用戶個人偏好特徵，而電商平臺則擁有產品特點的特徵，傳統的機器學習模型無法直接在異構數據上進行學習，聯邦學習卻能在保護三方數據隱私的基礎上進行聯合建模，從而打破數據壁壘，構建跨領域合作。
為了更加清楚方案背後的邏輯，以包含兩個數據擁有方（即企業 A 和 B）的場景為例來介紹聯邦學習的系統構架，這個架構可以拓展延伸到包含多個數據擁有方的場景。
假設企業 A 和 B 想聯合訓練一個機器學習模型，它們的業務系統分別擁有各自用戶的相關數據。此外，企業 B 還擁有模型需要預測的標籤數據。出於數據隱私和安全考慮，A 和 B 無法直接進行數據交換。此時，可使用聯邦學習系統建立模型，系統構架由兩部分構成，如圖 a 所示。
圖：聯邦學習系統構架
第一部分：加密樣本對齊。由於兩家企業的用戶群體並非完全重合，系統利用基於加密的用戶樣本對齊技術，在 A 和 B 不公開各自數據的前提下確認雙方的共有用戶，並且不暴露不互相重疊的用戶。以便聯合這些用戶的特徵進行建模。
第二部分：加密模型訓練。在確定共有用戶群體後，就可以利用這些數據訓練機器學習模型。為了保證訓練過程中數據的保密性，需要藉助第三方協作者 C 進行加密訓練。以線性迴歸模型為例，訓練過程可分為以下 4 步（如圖 b 所示）：第①步：協作者 C 把公鑰分發給 A 和 B，用以對訓練過程中需要交換的數據進行加密；第②步：A 和 B 之間以加密形式交互用於計算梯度的中間結果；第③步：A 和 B 分別基於加密的梯度值進行計算，同時 B 根據其標籤數據計算損失，並把這些結果彙總給 C。C 通過彙總結果計算總梯度並將其解密。第④步：C 將解密後的梯度分別回傳給 A 和 B；A 和 B 根據梯度更新各自模型的參數。
迭代上述步驟直至損失函數收斂，這樣就完成了整個訓練過程。在樣本對齊及模型訓練過程中，A 和 B 各自的數據均保留在本地，且訓練中的數據交互也不會導致數據隱私洩露。因此，雙方在聯邦學習的幫助下得以實現合作訓練模型。
第三部分：效果激勵。聯邦學習的一大特點就是它解決了為什麼不同機構要加入聯邦共同建模的問題，即建立模型以後模型的效果會在實際應用中表現出來，並記錄在永久數據記錄機制（如區塊鏈）上。提供的數據多的機構會看到模型的效果也更好，這體現在對自己機構的貢獻和對他人的貢獻。這些模型對他人效果在聯邦機制上以分給各個機構反饋，並繼續激勵更多機構加入這一數據聯邦。以上三個步驟的實施，既考慮了在多個機構間共同建模的隱私保護和效果，又考慮瞭如何獎勵貢獻數據多的機構，以一個共識機制來實現。所以，聯邦學習是一個 “閉環” 的學習機制。
由此我們也可以看出聯邦學習的幾個顯著特徵：
一、各方數據都保留在本地，不洩露隱私也不違反法規；
二、多個參與者聯合數據建立虛擬的共有模型，實現各自的使用目的、共同獲益；
三、在聯邦學習的體系下，各個參與者的身份和地位相同；
四、聯邦學習的建模效果和傳統深度學習算法的建模效果相差不大；
五、“聯邦”就是數據聯盟，不同的聯邦有著不同的運算框架，服務於不同的運算目的。如金融行業和醫療行業就會形成不同的聯盟。
▌聯邦學習目前進展
說了那麼多，聯邦學習目前到底有哪些技術進展呢？
最新消息顯示，Google 推出了首個產品級的聯邦學習系統併發布論文 “Towards Federated Learning at Scale：System Design”，介紹了聯邦學習系統的設計理念和現存挑戰並提出了自己的解決方案。國內方面，微眾 AI 團隊對外開源了自研的 “聯邦學習 FATE（Federated AI Technology Enabler)” 學習框架，目前在信貸風控、客戶權益定價、監管科技等領域已經推出了相應的商用方案。
在系統框架之外，圍繞聯邦學習的技術標準也在陸續推進中。2019年 2 月份，IEEE P3652.1（聯邦學習基礎架構與應用）標準工作組第一次會議在深圳召開，作為國際上首個針對人工智能協同技術框架訂立的標準，不僅明確了聯邦學習在數據合規、行業應用等方面的重要意義，還為立法機構在涉及隱私保護的問題時提供技術參考。
總而言之，無論是技術理論的探索還是統一標準的制定，在全球範圍內對聯邦學習的落地探索都會繼續，聯邦學習作為一個新興的人工智能基礎技術，還有很長的路要走。我們也有理由期待，隨著聯邦學習理論、應用體系的逐漸豐富，隱私保護問題所帶來的技術挑戰將得到有效解決。
投稿或尋求報道：[email protected]
閱讀更多 聯邦學習 的文章
