梯度下降法的簡單介紹以及實現

梯度下降法的基本思想可以類比為一個下山的過程。假設這樣一個場景：一個人被困在山上，需要從山上下來(i.e.找到山的最低點，也就是山谷)。但此時山上的濃霧很大，導致可視度很低。因此，下山的路徑就無法確定，他必須利用自己周圍的信息去找到下山的路徑。這個時候，他就可以利用梯度下降算法來幫助自己下山。具體來說就是，以他當前的所處的位置為基準，尋找這個位置最陡峭的地方，然後朝著山的高度下降的地方走，同理，如果我們的目標是上山，也就是爬到山頂，那麼此時應該是朝著最陡峭的方向往上走。然後每走一段距離，都反覆採用同一個方法，最後就能成功的抵達山谷。

在這種就情況下,我們也可以假設此時周圍的陡峭程度我們無法用肉眼來測量,需要一個複雜的工具來幫助我們測量,恰巧的是此人正好擁有測量最陡峭方向的能力。因此,這個人每走一段距離，都需要一段時間來測量所在位置最陡峭的方向，這是比較耗時的。那麼為了在太陽下山之前到達山底，就要儘可能的減少測量方向的次數。這是一個兩難的選擇，如果測量的頻繁，可以保證下山的方向是絕對正確的，但又非常耗時，如果測量的過少，又有偏離軌道的風險。所以需要找到一個合適的測量方向的頻率，來確保下山的方向不錯誤，同時又不至於耗時太多！

梯度下降

梯度下降的過程就如同這個下山的場景一樣。

首先，我們有一個可微分的函數。這個函數就代表著一座山。我們的目標就是找到這個函數的最小值，也就是山底。根據之前的場景假設，最快的下山的方式就是找到當前位置最陡峭的方向，然後沿著此方向向下走，對應到函數中，就是找到給定點的梯度 ，然後朝著梯度相反的方向，就能讓函數值下降的最快！因為梯度的方向就是函數之變化最快的方向(在後面會詳細解釋) 所以，我們重複利用這個方法，反覆求取梯度，最後就能到達局部的最小值，這就類似於我們下山的過程。而求取梯度就確定了最陡峭的方向，也就是場景中測量方向的手段。

首先梯度是什麼?

梯度實際上就是多變量微分的一般化。 下面這個例子：

我們可以看到，梯度就是分別對每個變量進行微分，然後用逗號分割開，梯度是用<>包括起來，說明梯度其實一個向量。

梯度是微積分中一個很重要的概念，之前提到過梯度的意義

• 在單變量的函數中，梯度其實就是函數的微分，代表著函數在某個給定點的切線的斜率
• 在多變量函數中，梯度是一個向量，向量有方向，梯度的方向就指出了函數在給定點的上升最快的方向

這也就說明了為什麼我們需要千方百計的求取梯度！我們需要到達山底，就需要在每一步觀測到此時最陡峭的地方，梯度就恰巧告訴了我們這個方向。梯度的方向是函數在給定點上升最快的方向，那麼梯度的反方向就是函數在給定點下降最快的方向，這正是我們所需要的。所以我們只要沿著梯度的方向一直走，就能走到局部的最低點！

梯度下降算法的數學解釋

上面我們花了大量的篇幅介紹梯度下降算法的基本思想和場景假設，以及梯度的概念和思想。下面我們就開始從數學上解釋梯度下降算法的計算過程和思想！

此公式的意義是：J是關於Θ的一個函數，我們當前所處的位置為Θ0點，要從這個點走到J的最小值點，也就是山底。首先我們先確定前進的方向，也就是梯度的反向，然後走一段距離的步長，也就是α，走完這個段步長，就到達了Θ1這個點！

• 下面就這個公式的幾個常見的疑問：
• α是什麼含義？ α在梯度下降算法中被稱作為學習率或者步長，意味著我們可以通過α來控制每一步走的距離，以保證不要步子跨的太大扯著蛋，哈哈，其實就是不要走太快，錯過了最低點。同時也要保證不要走的太慢，導致太陽下山了，還沒有走到山下。所以α的選擇在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的話，可能導致遲遲走不到最低點，太大的話，會導致錯過最低點！

• 為什麼要梯度要乘以一個負號？ 梯度前加一個負號，就意味著朝著梯度相反的方向前進！我們在前文提到，梯度的方向實際就是函數在此點上升最快的方向！而我們需要朝著下降最快的方向走，自然就是負的梯度的方向，所以此處需要加上負號

• 梯度下降算法的實現

下面我們將用python實現一個簡單的梯度下降算法。場景是一個簡單的線性迴歸的例子：假設現在我們有一系列的點，如下圖所示

我們將用梯度下降法來擬合出這條直線！

首先，我們需要定義一個代價函數，在此我們選用均方誤差代價函數

此公示中

• m是數據集中點的個數
• ½是一個常量，這樣是為了在求梯度的時候，二次方乘下來就和這裡的½抵消了，自然就沒有多餘的常數係數，方便後續的計算，同時對結果不會有影響
• y 是數據集中每個點的真實y座標的值
• h 是我們的預測函數，根據每一個輸入x，根據Θ 計算得到預測的y值，即

我們可以根據代價函數看到，代價函數中的變量有兩個，所以是一個多變量的梯度下降問題，求解出代價函數的梯度，也就是分別對兩個變量進行微分

明確了代價函數和梯度，以及預測的函數形式。我們就可以開始編寫代碼了。但在這之前，需要說明一點，就是為了方便代碼的編寫，我們會將所有的公式都轉換為矩陣的形式，python中計算矩陣是非常方便的，同時代碼也會變得非常的簡潔。

為了轉換為矩陣的計算，我們觀察到預測函數的形式

我們有兩個變量，為了對這個公式進行矩陣化，我們可以給每一個點x增加一維，這一維的值固定為1，這一維將會乘到Θ0上。這樣就方便我們統一矩陣化的計算

然後我們將代價函數和梯度轉化為矩陣向量相乘的形式

三種梯度算法的代碼實現

導入函數包

import numpy as np
# 操作系統
import os
%matplotlib inline 

# import matplotlib as mpl
import matplotlib.pyplot as pltimport numpy as np
複製代碼

批量梯度下降求解線性迴歸

首先，我們需要定義數據集和學習率 接下來我們以矩陣向量的形式定義代價函數和代價函數的梯度 當循環次數超過1000次，這時候再繼續迭代效果也不大了，所以這個時候可以退出循環！

eta = 0.1
n_iterations = 1000
m = 100
theta = np.random.randn(2,1)
for iteration in range(n_iterations):
 gradients = 1/m * X_b.T.dot(X_b.dot(theta) - y)
 theta = theta - eta*gradients
theta_path_bgd = []
def plot_gradient_descent(theta, eta, theta_path = None):
 m = len(X_b)
 plt.plot(X, y, "b.")
 n_iterations = 1000
 for iteration in range(n_iterations):
 if iteration < 10:
 y_predict = X_new_b.dot(theta)
 style = "b-"
 plt.plot(X_new,y_predict, style)
 gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
 theta = theta - eta*gradients
 if theta_path is not None:
 theta_path.append(theta)
 plt.xlabel("$x_1$", fontsize=18)
 plt.axis([0, 2, 0, 15])
 plt.title(r"$\\eta = {}$".format(eta),fontsize=16)
np.random.seed(42)
theta = np.random.randn(2,1)
plt.figure(figsize=(10,4))
plt.subplot(131);plot_gradient_descent(theta, eta=0.02) #一排三個 第一個
plt.ylabel("$y$", rotation=0, fontsize=18) 

plt.subplot(132);plot_gradient_descent(theta, eta=0.1, theta_path=theta_path_bgd ) #一排三個 第二個
plt.subplot(133);plot_gradient_descent(theta, eta=0.5)
save_fig("gradient_descent_plot")
複製代碼

隨機梯度下降

theta_path_sgd = []
m = len(X_b)
np.random.seed(42)
n_epochs = 50
theta = np.random.randn(2,1) #隨機初始化
for epoch in range(n_epochs):
 for i in range(m):
 if epoch == 0 and i < 10: 

 y_predict = X_new_b.dot(theta)
 style = "b-"
 plt.plot(X_new,y_predict,style)
 random_index = np.random.randint(m)
 xi = X_b[random_index:random_index+1]
 yi = y[random_index:random_index+1]
 gradients = 2 * xi.T.dot(xi.dot(theta)-yi)
 eta = 0.1
 theta = theta - eta * gradients
 theta_path_sgd.append(theta)
 
plt.plot(x,y,"b.")
plt.xlabel("$x_1$",fontsize = 18)
plt.ylabel("$y$",rotation =0,fontsize = 18)
plt.axis([0,2,0,15])
save_fig("sgd_plot")
plt.show()
複製代碼

小批量梯度下降

theta_path_mgd = []
n_iterations = 50
minibatch_size = 20
np.random.seed(42)
theta = np.random.randn(2,1)
for epoch in range(n_iterations):
 shuffled_indices = np.random.permutation(m)
 X_b_shuffled = X_b[shuffled_indices]
 y_shuffled = y[shuffled_indices]
 for i in range(0, m, minibatch_size):
 xi = X_b_shuffled[i:i+minibatch_size]
 yi = y_shuffled[i:i+minibatch_size]
 gradients = 2/minibatch_size * xi.T.dot(xi.dot(theta)-yi)
 eta = 0.1
 theta = theta-eta*gradients
 theta_path_mgd.append(theta)
複製代碼

三者的比較圖像

theta_path_bgd = np.array(theta_path_bgd)
theta_path_sgd = np.array(theta_path_sgd)
theta_path_mgd = np.array(theta_path_mgd)
plt.figure(figsize=(7,4))
plt.plot(theta_path_sgd[:,0], theta_path_sgd[:,1], "r-s", linewidth = 1, label = "Stochastic")
plt.plot(theta_path_mgd[:,0], theta_path_mgd[:,1], "g-+", linewidth = 2, label = "Mini-batch")
plt.plot(theta_path_bgd[:,0], theta_path_bgd[:,1], "b-o", linewidth = 3, label = "Batch")
plt.legend(loc="upper left", fontsize = 16)
plt.xlabel(r"$\\theta_0$", fontsize=20)
plt.ylabel(r"$\\theta_1$", fontsize=20, rotation=0)
plt.axis([2.5,4.5,2.3,3.9])
save_fig("gradients_descent_paths_plot")
plt.show()
複製代碼