2020-03-22 17:25:00 聯邦學習

導讀

數據是人工智能運轉的“石油”，AI發展到現在的階段，能否獲得量大質高的數據已成為制約其進一步發展的重要因素。在這樣背景之下，數據共享、融合的需求越來越強烈，但是在數據共享的過程中，如數據孤島，數據隱私安全等問題，另一方面來說，傳統的機器學習方法，需要把訓練數據集中於某一臺機器或是單個數據中心裡，為了滿足逐漸增加的數據量級，還要不斷加機器、不斷建設基礎設施,而在數據集中的過程中有出現數據洩露的風險。

以上提到的問題導致傳統的數據共享技術難以滿足需求。新的技術應運而生——Federated Learning，在融合安全多方計算以及其他加密技術的基礎之上發展越來越成熟。下面我們來了解一下目前市面上有關聯邦學習的明星產品。

PaddleFL 聯邦學習

PaddleFL（Federated Deep Learning）是百度公司研發的一個開源聯邦學習框架，對於研究人員來說，可以很輕鬆地用 PaddleFL 複製和比較不同的聯邦學習算法。PaddleFL主要是面向深度學習進行設計，提供了眾多在計算機視覺、自然語言處理、推薦算法等領域的聯邦學習策略及應用，同時PaddleFL 還將提供橫向縱向傳統機器學習方法的應用策略，結合自己大規模分佈式訓練的彈性調度能力，在聯邦學習領域有非常多的應用場景。

FATE聯邦學習

Federated AI Technology Enabler(簡稱FATE)是微眾銀行AI團隊於2019年2月推出的一個工業級別的聯邦學習框架，它提供了一個計算框架來支持聯邦學習算法。它使用同態加密，支持聯邦學習的架構，實現經典的機器學習算法例如邏輯迴歸，梯度下降樹，XGBoost等等，結合其優秀的穩定性，給了後續的開發者提供了一個落地實現聯邦學習算法的範本。大部分的算法都可以經過一定的改造應用到聯邦學習中。目前，微眾銀行AI團隊已經推動FATE在多種金融場景下應用落地。

Clara 聯邦學習

Clara 聯邦學習（Clara Federated Learning），是一款由英偉達公司開發用於分佈式協作聯邦學習訓練的應用程序，主要應用於醫療領域，主要目的在於保護患者的隱私並且實現聯合訓練的目的。由全球系統製造商打造的面向邊緣的 NVIDIA NGC-Ready 服務器可以部署這些分佈式客戶端系統，可以實現本地深度學習訓練，並協同訓練出更為實用的全局模型。

工作原理如下：Clara 聯邦學習應用程序被打包到 Helm 圖表中，並在 Kubernetes 基礎架構上的部署。NVIDIA EGX 平臺將安全地對聯邦服務器和協作客戶端進行配置，提供啟動聯邦學習項目所需的一切，包括應用程序容器和初始 AI 模型。

對於參與項目的各家醫院來說，他們的 EGX 服務器會基於其本地數據來訓練全局模型。本地訓練結果通過安全鏈接共享回聯邦學習服務器。這種方法只會共享對模型權重的修正，而會保護患者的隱私，實現位於不同站點的大量醫療數據中獲取經驗，在情況下聯合建模。為了聯邦學習模型達到其期望的精度這一目的，此過程會反覆執行。