2020-02-24 17:25:00 聯邦學習

Federated Learning：

Bringing Machine Learning to the edge with Kotlin and Android

選自 Medium Blog

編譯：聯邦學習

訓練機器學習模型需要數據。數據越多，樣本特徵越豐富，模型表現也會更佳。然而，數據並不便宜，更關鍵的是數據可能會包含個人敏感信息。

隨著數據隱私保護法案General Data Protection Regulation 的頒佈，用戶對於他們的數據價值以及隱私考慮的意識也逐漸增強。雖然匿名的技術可以極大地解決隱私安全的問題，但本質上將所有數據發送至中心處理器以訓練機器學習模型的方式始終是人們擔心數據安全的原因。

本文將介紹一個項目，項目將證明如何使用安卓app作為邊緣設備來設置一個基本的聯邦學習環境。

代碼

如果你想直接跳轉至代碼部分，你可以在以下鏈接的文章回復中找到它們。

Android Application：https://github.com/mccorby/PhotoLabeller

The Server：https://github.com/mccorby/PhotoLabellerServer

組建

該項目主要由三部分組成：

一個服務器，由Kotlin編寫（Kotlin是一種在Java虛擬機上運行的靜態類型編程語言，它也可以被編譯成為JavaScript源代碼），並使用DL4J（https://deeplearning4j.org/）生成一個基於Cifar-10數據集的模型。
一個用該模型來分類照相機圖像的安卓app，由Kotlin編寫並且也能使用DL4J。
聯邦學習的設置環境，能夠使安卓app利用本地數據來訓練模型，其服務器能夠使用邊緣更新來更新共享的模型。

模型

該模型是基於Cifar-10數據集，此數據集可以對十種不同類別的圖像進行分類。

對模型架構進行了調整，以實現雙重的目的：

A.獲取有較好的性能表現

B.允許它在安卓app當中加載和訓練。

所選擇的架構是淺卷積神經網絡，具有一個CNN層和一個密集層。證明了足以使用50個紀元和10,000個樣本獲得良好的性能，同時也保持模型的尺寸較小。（關於模型大小的說明：此PoC的重點在於聯合學習。通過不同的技術量化或使用結構化或草圖更新，可以使用更多層來訓練更好的模型並縮減其大小。）該服務器端訓練模型的代碼位於PhotoLabellerServerproject的模型中。

The CNN with a dense layer

用App來做預測

當連接到使用最新版本共享模型的服務器時，該app允許使用嵌入在app本身中的模型對用戶使用相機拍攝的照片進行基本分類。

The CNN with a dense layer

該app由模塊構建，其中包括安卓特定類別和Deeplearning4j訓練器相關的類別。基本模塊包括了交互者和域對象。訓練器應用的目的包括作預測和利用DL4J進行訓練，並調用預測函數來獲取圖像分類。

聯邦學習設置

聯邦學習通過允許邊緣設備參與訓練，將機器學習模型的更新顛倒過來。聯邦學習不是將客戶端中的數據發送到集中位置，而是將模型參數以加密的方式發送給參與聯合的設備。然後使用本地數據重新訓練模型（使用遷移學習）用戶的數據不會離開設備包括手機、筆記本電腦、物聯網小工具等。服務器打開“循環訓練”，在此期間客戶端可以將參數的更新發送至服務器。