前 言
在實踐中，單一的聯邦學習模型不足以保證數據隱私，許多學者提出了在FL（federated learningl聯邦學習）模型基礎上施加差分隱私策略，但是噪聲的引入會降低模型預測的準確度。本文為大家介紹一種能夠有效提高預測準確率的方法，《Private Federated Learning with Domain Adaptation》被AI頂會NeurIPS 2019接收，作者是來自Oracle Labs的Daniel W. Peterson，Pallika Kanani和Virendra J. Marathe。在這篇論文中，作者提出了一個新穎實用的聯邦學習算法FL+DE（FL with private domain experts），該算法（FL+DE）具有較好的訓練精度，具有一定的實用價值。
論文地址：https://arxiv.org/pdf/1912.06733.pdf
背景
在實際應用中，由於每一個用戶都有不同的產生數據的過程，所以可以認為每個獨立的用戶數據來源於不同的域。域適應與聯邦學習也逐漸被應用於隱私保護與安全設置。現有的研究方法主要有兩種，一種是在經典的域適應中加入保護隱私，使在源域上調整良好的模型能夠在數據較少的目標域中表現更好。另一種是安全聯邦學習，使用同態加密來確保不同機構聯邦學習環境中的隱私，這與ε差分隱私不同，同態加密並沒有建立一個共用模型。這兩種方法都考慮了論文作者框架中的一部分，但是並沒有將共同合作學習的效果與私有域適應結合起來。
01 方法介紹
論文作者提出了一個新穎實用的框架來使這兩種方法很好的結合。首先用差分隱私的聯邦學習建立各機構公共的模型，並將模型適用到每個用戶的私有域。最終每個用戶能得到兩個模型，一個帶有有差分隱私噪聲的公共模型和使用普通隨機梯度下降不帶差分隱私噪聲的私有模型，再使用多專家模型（mixture of experts，MoE)結合兩個模型得到最終的預測結果。實驗結果表明，在MoE模型框架中，針對每個機構，預測的結果為帶有有差分隱私噪聲的公共模型MG與使用普通隨機梯度下降不帶差分隱私噪聲的私有模型Mpi的加權平均，其中公共模型的權重為門函數αi(x)，私有模型的權重為（1-αi(x)），詳細公式見下圖。在論文中，作者選擇sigmoid函數作為門函數。MoE模型中的參數通過隨機梯度下降模型來更新，最終門函數經過多輪迭代判斷出賦予公共模型還是私有模型更大的權重。公共模型因為可以獲得更多的數據能有更好的訓練效果，但模型在各機構的本地數據的參數更新卻比較弱，但是這也為MoE模型帶來了更好的泛化能力。
圖 1 左圖:輸入數據分佈圖 / 右圖:目標函數值
02 實驗分析
作者分別在兩個場景中分別應用FL模型與FL+DE模型，對準確率進行對比。
第一個場景是一個迴歸問題
迴歸問題中兩個用戶數據來自不同的二維高斯模型，但是兩個用戶對模型中的同一個變量獲得不同的數據，進行建模，以測試集上的RMSE為衡量標準。圖1圖2是對輸入輸出門函數的圖像描述。在圖2中，用戶1的MoE模型門函數，深色部分是私有模型，淺色部分是公共模型；用戶2的MoE模型門函數，深色部分是私有模型，淺色部分是公共模型。
圖 2 左圖:用戶1的MoE模型門函數 / 右圖:用戶2的MoE模型門函數
表 1：模型測試集誤差
在表1中我們可以看到，如果不涉及隱私保護，FL模型表現很好，但是隨著差分隱私噪聲的增加，模型的誤差顯著上升，但是當噪聲施加在共有梯度更新時，FL+DE模型受到的懲罰約束要小於FL模型，結果最差就是回到基礎水平（不考慮隱私保護，每個用戶都用完整的數據集）。
表 1：模型測試集誤差
第二個應用場景是垃圾郵件檢測
數據集來自ECML PKDD 2006 Discovery Challenge，由於每個用戶能獲得的數據是有限的並且每個用戶的收件箱也是不同的，所以有必要引入域適應。作者用15個用戶聯合建立有監督垃圾郵件分類器，以準確率作為衡量標準。在圖2中可以看到，無論在什麼噪聲水平上，FL+DE模型都表現的很好。但是對於單一的FL模型，在高水平噪聲下，在一些用戶的數據上表現的比隨機猜的效果還要差，所以總體準確率下降明顯。
圖 3：模型測試集準確率
03 總 結
聯邦學習的成功在很大程度上依賴於學習模型的準確性。作者創新性的提出了一個實用的聯邦學習模型FL+DE，將域適應與聯邦學習相結合，在保護了用戶數據隱私的同時保障了預測準確率，在分類與迴歸問題中都表現良好。論文作者表示在之後的研究中，可以嘗試與PATE模型、遷移學習相結合。]
END
投稿或尋求報道：[email protected]
Federated Learning
長按上方二維碼
閱讀更多 聯邦學習 的文章
