2020-03-30 17:25:00 聯邦學習

聯邦學習的嚴峻挑戰

由於聯邦學習的用戶分佈在各地，且聯邦平臺不會直接檢查用戶的本地數據，無法從數據的層面分析惡意用戶的攻擊，且用戶間可能會相互串通，這也為聯邦學習的防禦機制提出了更高的挑戰。那麼針對機器學習最常見的攻擊是什麼呢？

攻擊者如何針對聯邦學習？

對抗攻擊

在機器學習中，惡意用戶通常會針對模型進行對抗性攻擊，從而達到影響模型的目的。

對抗攻擊是指在輸入模型中人為的增加一些擾動，使得機器學習算法在建模的過程中產生誤判，從而影響模型的精準性。在Szegedy等人發表的論文《Explaining and Harnessing Adversarial Examples》中展示，在下面熊貓的圖片中增加細微的擾動，就能夠使圖像識別系統將其識別為長臂猿，而這種擾動在人眼中完全無法識別。

圖片來源：https://arxiv.org/pdf/1412.6572

針對常見的對抗性攻擊一般被分為兩類，分別是無目標攻擊以及有目標攻擊:

1.無目標攻擊-是以降低模型的精準度為目的，只要模型的預測產生偏差即可，而不指定產生偏差的方向。

2.有目標攻擊-是需要將模型中的特定示例更改為其他結果，難度更為巨大。例如：在圖像識別中，通過模型擾動將所有的紅燈都識別成綠燈，且不影響其他圖像識別的準確性。試想，在智能汽車領域，如果模型遭到攻擊，所有的紅燈都被識別成綠燈，該會釀成多大的慘劇？

由於聯邦學習的分佈式且不查看原始數據的特性，用戶的不確定性大大增加。尋找有效的防禦方法成為聯邦學習的重中之重!

如何防禦這類攻擊？

01 對抗訓練

針對惡意用戶的攻擊，對抗訓練是機器學習的重要部分。這一方法的思路類似於接種疫苗，通過滅活的病毒使人體產生抗體，增強對該病毒的抗性。在機器學習中，針對常見的噪聲攻擊，在建模過程中有意的將這些攻擊模型加入計算，並對其進行標註，增強模型對於這種類型噪聲的“免疫力”，從而保證模型最終結果的準確性。這種方式已被應用到了機器學習的各個領域，例如在推薦業務中就可以使用APR(Adversarial Personalized Ranking)模型，增強推薦模型的魯棒性。

圖片來源：https://arxiv.org/pdf/1808.03908

02 抽樣機制

在聯邦學習中，用戶的數據是分佈式地存儲在各自的主機上。串通能力就成為了惡意用戶對聯邦學習模型威脅程度的重要衡量標準。如果用戶間存在“協同合作”，針對模型發起有組織的攻擊，那麼他們對模型的威脅程度將遠遠大於獨立行動的攻擊者們。例如，在模型的不斷迭代中，攻擊組織可以根據不同的模型輸出修改攻擊模式，從而更精準地進行破壞。

減少用戶間協作的可能性能夠有效地減少串通攻擊，因此在聯邦學習中採用抽樣的機制能夠有效減少此類問題。假設有三萬臺機器都針對模型進行了數據上傳，但是服務器在模型建立中，每輪只隨機抽取一千臺機器的結果進行合併，在模型更新的過程中，用戶並不知道自己的數據是否被使用以及在第幾輪訓練中被使用，也就可以有效的減少用戶在模型中的參與程度，並減少用戶串通的有效性。

03 裁剪更新以及添加噪聲

針對個體用戶，對未知的攻擊方法進行預防也很重要。由於用戶數量龐大，每個用戶對模型所能產生的影響有限，所以通過減少模型過於適應某個用戶訓練結果的情況，就能夠有效降低攻擊程度。在聯邦學習中，通常使用剪裁的方法，對用戶所上傳的更新進行剪裁，例如梯度剪裁；或者在用戶上傳的更新中增加一定的高斯噪聲。中心服務器再整合這些處理過的更新，從而使得模型不會過度依賴某一個用戶。