靈魂調參師被AutoGluon打爆,李沐:調得一手好參的時代要過去了

日前,亞馬遜AWS推出AutoGluon,只需三行代碼自動生成高性能模型,讓調參、神經架構搜索等過程實現自動化。一位調參師親自試了一番,他手工調的faster rcnn就被AutoGluon通過NAS自動搜索的yolo打爆了整整6個點。這也讓李沐大神感慨:調得一手好參的時代要過去了。


近日,亞馬遜宣佈推出AutoGluon,這是一個新的開源庫,開發人員可以使用該庫構建包含圖像、文本或表格數據集的機器學習應用程序。


使用AutoGluon,只需編寫幾行代碼就可以利用深度學習的力量來構建應用程序。


已經有不少朋友按耐不住內心的激動開始嚐鮮,這不,一位名叫“Justin ho”的“靈魂調參師”就用自己的親身經歷給我們講了一個深夜鬼故事:


他手工調的faster rcnn(resnet50 backbone)就被AutoGluon通過NAS自動搜索的yolo(mobilenet backbone)打爆了整整6個點。


這也讓李沐大神感慨,調得一手好參的時代要過去了:


靈魂調參師被AutoGluon打爆,李沐:調得一手好參的時代要過去了

知乎網友紛紛感慨,調參法師要失業了:

靈魂調參師被AutoGluon打爆,李沐:調得一手好參的時代要過去了

接下來,我們為大家介紹一下AutoGluon。


AutoGluon:用更少的代碼,打造更高的SOTA性能模型


深度學習是機器學習的一部分,深度學習模型是受到人腦結構的啟發而生成的。深度學習算法通常包含不少層,用於學習輸入數據的有用表示。


比如,在面向圖像識別的深度學習模型中,較低的層可檢測更多的基本特徵(顏色或邊緣),而較高的層可用於識別更復雜的特徵(如數字或對象)。


靈魂調參師被AutoGluon打爆,李沐:調得一手好參的時代要過去了

一般來講,部署深度學習模型,實現最先進的性能需要廣泛的專業知識。目前來看深度學習的應用仍主要侷限在有限數量的專家中,但在過去十年裡,為了簡化深度學習應用難度,降低門檻,讓機器學習為更多的技術專業人員方便使用,研究人員的努力已經收到了明顯成效。

比如,開發人員早先必須投入大量時間和專業知識,來計算訓練深度學習模型所需的梯度。梯度是向量,可以標識出效果最好的參數更新,最大程度地減少訓練數據中實例的錯誤。


像Theano這樣的軟件庫甚至可以自動計算高度複雜的神經網絡的梯度,讓開發人員通過樣板代碼使用日益複雜的神經體系結構。

像Keras這樣的較新的庫代表了深度學習普適化的又一次進步。它允許開發人員指定參數,比如輸入數量,深度學習模型的層數,甚至僅需幾行代碼就能定義一個網絡層,從而簡化了現有庫中的大量樣板代碼,而這部分代碼在現在的庫中是必不可少的。


不過,即使有了這些進步,今天的深度學習專家和開發人員仍必須解決許多麻煩的問題,包括超參數調整、數據預處理、神經體系結構搜索以及遷移學習有關的決策。


  • 超參數調整涉及到如何選擇神經網絡中的層數、如何連接這些層(即網絡的體系結構)以及如何訓練網絡。
  • 數據處理,包括數據分類和正確格式化矢量的數據預處理也可能是一個非常麻煩的過程。
  • 神經架構搜索涉及自動化架構工程,能夠使開發人員為其機器學習模型找到最佳設計。所有這些決定都需要相當多的專業知識,提高了深度學習的門檻。


三行代碼自動生成高性能模型,讓人工決策自動化


AutoGluon為開發人員自動化了許多決策,開發人員只需三行代碼即可生成高性能的神經網絡模型!


開發人員無需在設計深度學習模型時手動嘗試必須做出的數百種選擇,只需簡單地指定讓訓練好的模型就緒的時間即可。、


作為響應,AutoGluon可以利用可用的計算資源在其分配的運行時間內找到最強大的模型。


AutoGluon可以通過自動調整默認範圍內的選擇來生成僅需三行代碼的模型,而這些默認範圍在已知範圍內可以很好地完成給定任務。


開發人員只需指定他們何時準備好訓練後的模型,AutoGluon就會利用可用的計算資源來在分配的runtime中找到最強大的模型。


Mueller說:“由於深度學習固有的不透明性,深度學習專家做出的許多選擇都是基於特殊的直覺,沒有很嚴格的科學指導規範。AutoGluon解決了這個問題,因為所有選擇都會在默認範圍內自動調整,而且默認範圍對於特定任務和模型表現良好。”


官網指南:AutoGluon快速上手


靈魂調參師被AutoGluon打爆,李沐:調得一手好參的時代要過去了


AutoGluon官方網站為開發人員提供了許多教程,可利用它們對錶格,文本和圖像數據進行深度學習(諸如涵蓋分類/迴歸等基本任務以及對象檢測等更高級的任務)。


對於經驗豐富的開發人員,AutoGluon網站提供有關如何使用AutoGluon API來自動提高定製應用程序中的預測性能的自定義說明。


關於Autogluon簡明使用教程和官方安裝指南等更多信息,請見官網:

https://autogluon.mxnet.io/


視頻點擊預測大賽火熱進行中


3萬元獎金、證書、實習、就業機會已準備就位,快叫上小夥伴一起來組隊參賽吧。

賽題:希望參賽者通過已有的用戶信息、視頻信息以及他們是否觀看過某些視頻,來預測我們推薦給這些用戶的視頻對方是否會觀看。

個人、高等院校、科研單位、互聯網企業、創業團隊、學生社團等人員均可報名。

報名及組隊時間:即日起至2020年2月1日


報名入口:


http://www.turingtopia.com/competitionnew/detail/e4880352b6ef4f9f8f28e8f98498dbc4/sketch


分享到:


相關文章: