人工智能入門:如何最快下山? 讓梯度下降算法告訴你

華為人工智能架構師 張志峰

華為人工智能高級講師 劉潔

人工智能入門:如何最快下山? 讓梯度下降算法告訴你

信息化社會,人工智能逐漸滲透到我們生活每個角落,徹底改變了我們的生活、工作和娛樂方式。在日常生活中,人工智能應用亦無處不在:支付時所用的人臉識別,能給人們帶來財產安全保障;掃地機器人運用自帶的傳感器掃描垃圾並自動打掃衛生,是我們的家務小幫手;學習型機器人為孩子背唐詩、講故事,對話等,陪伴孩子成長……

人工智能在各行各業的廣泛應用,也使得人工智能人才炙手可熱 。

想不想成為人工智能人才?從梯度下降算法開始,帶你入門人工智能技術,去人工智能技術的浩瀚知識海洋領略無限風光。

在介紹梯度下降算法之前,我們首先思考一個問題:假如我們身處一片連綿起伏的山脈,要去最低的山谷處找寶藏。但是我們被蒙著眼睛看不到山脈的全貌並且不知道自己在哪裡,不論走到哪都只知道自己當前所處位置的高度。那麼該如何用最快速度找到寶藏呢?要找到寶藏,我們需要走向最低的位置,看不到全貌的我們如何走到最低位置?最簡單的策略就是走一步看一步。走一步要解決兩個問題:方向和步長,方向決定向哪走,步長決定走多遠。如何決定下一步方向呢?最簡單的策略就是在當前所處的位置上去感受哪個方向是“最陡”的,最陡向下的方向就是我們下一步要走的方向。決定了方向後該如何選擇“步長”?因為我們不知道山脈的全貌,山脈又有很多山峰和山谷,走的步子太大會很冒險,可能錯過最低的低谷;走的步子太小又浪費時間,因此我們要根據經驗來選擇一個適中的步長走下一步。就這樣走一步決定一步,一步一步走到最低的低谷,我們就可以獲得寶藏,可以簡稱這個策略為“最陡方向下降”。

那麼什麼是梯度下降算法呢?知識源自生活,這個尋找寶藏的例子中我們用的就是梯度下降算法。通俗來講,“梯度下降算法”中所謂的“梯度”就是上文中“最陡的方向”的概念,“梯度下降算法”實際上就是上文所述的“最陡方向下降”。

梯度下降算法在數學中是如何定義的呢?我們將上述例子抽象成一個數學問題,就可以很清楚的理解梯度下降算法的數學表示。假定山的高度 是由參數經度 和緯度 定義的函數,即 ,我們目標是找到使得高度 最小的一組經度 和緯度 ,因此也將 稱為目標函數。我們的起始位置在隨機一組經度和緯度上,那麼在決定下一步如何走之前需要確定兩個問題:方向和步長,方向是由目前所處位置的“最陡方向”決定的。在數學中函數在某一點的最陡的方向是由梯度的方向,函數 對參數經度 和緯度 在該處求導即可獲取梯度;步長是由經驗獲取的,可以在嘗試過程中不斷調整。確定了方向和步長之後,從當前的經度和緯度走到新的經度和緯度。重複這個過程直到滿足設定的步數或時間或高度 連續下降幅度小於設定閾值,我們認為最終的經度 和緯度 就是使得高度 的最小的一組值。

通過上面的瞭解,我們可以看到梯度下降算法原理簡單,並且易於計算機實現,因此成為求解優化問題的最重要的策略算法之一。

人工智能入門:如何最快下山? 讓梯度下降算法告訴你

人工智能入門:如何最快下山? 讓梯度下降算法告訴你

而在機器學習以及深度學習中大部分的問題最終都可以歸結為求解函數最優值的問題,因此作為求解最優化問題的最重要的策略之一,梯度下降算法在機器學習和深度學習中都佔有其重要的地位。例如在深度學習中,神經網絡模型中有眾多參數,我們的目標是希望能夠通過調整這些參數的值來尋找到最優的模型,模型優劣性是通過評估樣本的預測值與樣本的真實值的不一致程度得到的,不一致程度是通過損失函數來數值化來定義,我們的目標就是尋找一組參數使得損失函數達到最小,也就是得到在一定程度上達到最優的模型,而尋找一組參數值使得損失函數儘可能小所使用的方法大多數情況下都是用梯度下降算法。

當然,任何策略方法都有不足之處。我們把目標函數想象成這連綿起伏的山峰有多個谷底,當我們蒙著眼睛下山的時候,常常會由於最開始所處位置的不同而走向不同的谷底;又或者下山過程中步子太大,可能會越過谷底,步子太小又會很耗時,因此梯度下降的結果也會受到啟發式策略選取的影響。為了改善這些問題,後續又出現了隨機梯度下降,小批量梯度下降以及其他眾多的優化算法,使得目標函數的優化更加高效和精準。

梯度下降算法是不是很有趣?你想更深入瞭解梯度下降算法嗎?在華為AI認證的課程中,我們將深入淺出地講解包括梯度下降算法在內的有關人工智能的各方面的知識,讓你學到人工智能的紮實理論並應用到實踐中。

華為AI認證,按照深度學習、開源框架(TensorFlow、MindSpore等)和華為AI解決方案(EI、HiAI、Ascend等)這三個中心,定位於通用知識、應用實踐、技術精華, 由淺入深,層層遞進,讓你逐步進階為AI專家。目前華為已推出HCIA-AI、HCIP-AI HiAI Developer、HCIP-AI EI Developer認證,HCIE級別的AI認證將於今年12月推出。

快人一步,開啟你的人工智能學習之旅吧!跟隨華為AI認證,你將在人工智能領域大展身手,獲得無限可能。

人工智能入門:如何最快下山? 讓梯度下降算法告訴你


分享到:


相關文章: