09.14 是時候讓深度學習算法從雲端走入你的口袋中了,移動端機器學習將讓智能手機更聰明

是時候讓深度學習算法從雲端走入你的口袋中了,移動端機器學習將讓智能手機更聰明

來源:IEEE Spectrum 編譯:T.R

更多相關內容請見本日talk回顧(頭條)

移動端的深度學習正在風起雲湧,從去年NIPS的研討會到今年高通、華為的芯片帶來的強大智能能力,無一不在應驗著這一趨勢。

是时候让深度学习算法从云端走入你的口袋中了,移动端机器学习将让智能手机更聪明

目前為止人工智能的進步主要來自海量的數據資源和日漸增長的強大計算能力。典型的機器學習通常被構建在單一的數據中心上,可以接入全球的數據集和海量的存儲與計算能力。目前很多深度學習算法都運行在雲端,通過Caffe、tensorflow等計算框架搭建模型,並利用GPU, TPU等計算硬件驅動。這種方式構成了目前深度學習實現方式的主流方案。

是时候让深度学习算法从云端走入你的口袋中了,移动端机器学习将让智能手机更聪明

但這種方式對於要求低延時、計算量功耗有限的應用時,就會出現各種各樣的問題。例如在空中飛行的無人機、控制無人駕駛車輛、手術機器人等。為了完成一系列精細的任務、未來的無線通信系統需要在網絡的邊緣(靠近設備端)進行更多的決策,甚至當通信鏈路中斷時能夠保證系統更加可靠、更加迅速的響應。

是时候让深度学习算法从云端走入你的口袋中了,移动端机器学习将让智能手机更聪明

這一趨勢帶來了去中心化機器學習的迅速發展,這種新的機制可以將訓練數據存儲在很多的節點中,並協同工作來為問題找到合適的解決方案。設備端的機器學習與此類似,它的本質是利用去中心化的方式訓練出一個高可靠性的中心化模型。訓練數據在每一個節點上分佈很不均勻,同時每個節點只有包含整個數據的一小部分。

這樣的方式有很多優點:和基於雲的人工智能相比,設備端的AI可以保護隱私,因為個性化的訓練在本地完成訓練數據無需上傳至雲端。同時訓練也在本地完成、並且通過無線或者雲的方式來對節點進行彙總、共享訓練的結果。這意味著所有的設備都可以接入相同的全局模型。

是时候让深度学习算法从云端走入你的口袋中了,移动端机器学习将让智能手机更聪明

但目前設備端機器學習的大規模應用在工程和學術上還面臨著一系列挑戰。為了保證隱私的安全,研究人員們需要研究差分隱私技術來保證數據安全;當訓練數據稀疏時,還需要利用聯合學習和遷移學習來實現設備端的智能化。我們無需從零開始訓練模型,而是利用豐富的源數據訓練好模型後,將學習到的知識遷移到目標領域;除此之外,由於設備端的計算、能耗資源有限,適用的機器學習模型必須經過有效的優化才能夠準確高效的運行(比如取出一些層及層中的神經元等),同時也需要對於計算精度、能耗做出有效的權衡。

由於計算資源的有限,算法需要同時在本地和雲端運行。這樣可以保證對於個性化的設備端AI和雲端的集成AI都有很好的控制,並使得設備可以依靠雲端強大的存儲和計算能力來獲取更快更好的表現。

這一本地和遠程計算的問題被稱為任務卸載,這意味著一個任務可以同時在本地設備上運行、或者遠程的在網絡上運行,或者在兩者上同時運行。為了尋找最優的策略,需要綜合考量應用需求、神經網絡模型、功耗、網絡吞吐量等一系列問題,而這些依然是工程師們孜孜不倦在研究和解決的問題。

另一個重要的挑戰是使得設備端的AI與系統設計相匹配。典型的機器學習是中心化的應用,一般會為每一個主體最大化平均效果,但在設備端的AI卻由於有限的訓練數據更傾向於不確定性和隨機性,同時還受到設備間不可靠連接的影響,當設備將任務遷移到雲或者其他設備時通信延時也是一個重要的影響。這意味著設備端的AI 需要知道如何在非常不同的場景對預測進行針對性的處理,而不是像中心化機器學習一樣將所有主體合成整體作平均考慮。

對於這樣的設備端AI來說,超可靠-低延時的通信是系統得以順利工作的保證,這也是目前5G的關鍵技術之一。隨著5G時代的到來,人工智能將被應用到自動化網絡中去,深刻的改變下一代無線系統。

目前設備端的AI正處於研究發展的初期,需要走出一條與基於雲的中心化AI不同的道路。它們向著網絡邊緣計算和通信的方向邁進,通過互相分享各自的模型(而不是隱私數據)來建立起一箇中心化的全局模型,綜合考慮了延時、可靠性、隱私、功耗和精度。這樣的學習方式將會在不久的將來改變設備生產和編程的方式,併為世界帶來我們不曾見過的全新能力。

-The End-

將門是一家以技術創新為切入口的早期創新發掘機構,旗下設有將門創新服務、將門技術社群以及將門投資基金。

將門創新服務專注於使創新的技術落地於真正的應用場景,激活和實現全新的商業價值,服務於行業領先企業和技術創新型創業公司。

將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容,使創新成為持續的核心競爭力。

將門投資基金專注於投資通過技術創新激活商業場景,實現商業價值的初創企業,關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在兩年的時間裡,將門投資基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。

如果您是技術領域的初創企業,不僅想獲得投資,還希望獲得一系列持續性、有價值的投後服務,歡迎發送或者推薦項目給我“門”: [email protected]

是时候让深度学习算法从云端走入你的口袋中了,移动端机器学习将让智能手机更聪明

點擊右上角,把文章朋友圈

將門創投

讓創新獲得認可!

[email protected]


分享到:


相關文章: