每個數據科學家一旦開始研究統計模型，就會遇到馬爾可夫鏈和馬爾可夫過程這兩個術語。本文將以一種易於理解的方式解釋馬爾可夫過程的基本概念。
馬爾可夫鏈廣泛應用於金融、汽車、食品、博彩業，在日常生活中幾乎無處不在。因此，這是所有統計學家必須知道的話題。
天氣、賭博、股價、人類行為等都是馬爾可夫過程。
文章主旨
本文旨在解釋以下關鍵主題：
1， 什麼是馬爾可夫過程？
2， 什麼是馬爾可夫鏈？
3， 馬爾可夫鏈實例
4， 什麼是平穩馬爾可夫鏈分佈？
1， 什麼是馬爾可夫過程？
讓我們考慮一個物體以隨機的方式移動。這個對象可以是足球、考慮下一步的棋手、匯率、股票價格、汽車運動、客戶在隊列中的位置、在路上移動的人、足球場上的運動員等等。
這些物體以隨機的方式移動。因此，我們可以得出結論，物體在本質上是隨機的。這些對象基本上代表了整個系統。有趣的是，所有這些系統都可以有馬爾可夫性質。
什麼是馬爾可夫性質？
如果一個物體以一種隨機的方式運動，並且它的運動是無記憶的，那麼這個物體就具有馬爾可夫性質。
作為一個例子，我們假設我們的目標對象是一個被一群足球運動員踢來踢去的足球。接下來足球可以在任何狀態下進行。作為一個例子，它可以左右移動。如果我們的目標對象是一個公司的股票價格，那麼它接下來可以得到任何數值，比如0.999，1，2，3等等。現在，我們在上面說馬爾可夫性質是無記憶的。它意味著物體的未來運動只取決於它的當前狀態。這是最重要的概念。
馬爾可夫性質是無記憶的，這就引出了馬爾可夫鏈的概念。
2， 什麼是馬爾可夫鏈？
讓我們考慮一個物體以隨機的方式移動，對象（或系統）的狀態可以更改。這種變化稱為躍遷，每個躍遷都有與其他躍遷相關聯的概率。
因此，這個數學系統可以從一種狀態過渡到另一種狀態，這種過渡是基於概率的。
系統是一個隨機過程的例子。假設它可以處於狀態A或狀態B。我們還可以考慮，當對象處於狀態A時，它保持在狀態A的可能性為40%，轉換為狀態B的可能性為60%，如下所示：
示例狀態機
需要注意的關鍵是進程具有馬爾可夫性質，這意味著它是無記憶的。因此，未來轉變的可能性並不依賴於過去的狀態。它們只取決於當前的狀態。這就是我們認為它沒有記憶的原因。
馬爾可夫鏈是一個具有馬爾可夫性質的隨機過程。
馬爾可夫鏈表示物體的隨機運動。它是隨機變量的序列Xn，其中每個隨機變量都有一個與其相關聯的轉移概率。每個序列也有一個初始概率分佈π。
考慮一個可以處於三種狀態之一的對象{A，B，C}。隨後，這個對象從狀態A開始，可以轉到另一個狀態B或狀態C，依此類推。所有狀態A、B、C等都在狀態空間中（狀態空間是所有可能狀態的集合）。
馬爾可夫鏈的組成
這就引出了馬爾可夫鏈的兩個主要組成部分：
1.1， 狀態空間
狀態空間是隨機系統可能處於的所有狀態（位置）的集合。
它被表示為S。作為一個實例，S可以是{up，down}或{top，bottom}或{1.1，2.2，…}或{positive，negative，neutral}或{A A A，AA，A，B，D，E..}等。
需要注意的是，S是狀態空間，它是對象可能處於的所有狀態的集合。
1.2， 轉移概率
第二部分是轉移概率。轉移概率是一個概率表。表中的每個條目i，j都告訴我們對象從狀態i轉換到狀態j的概率。
因此，所有需要等於或大於0的狀態都有一個相關的概率。另外，概率值之和需要為1。
轉移概率告訴我們物體可能處於的下一個狀態及其相關概率。因此，對象的下一步移動僅依賴於其當前值。
假設我們有一個轉移概率矩陣：
上表顯示，如果目標對象處於"向上"狀態，則它有60%的機會過渡到"向下"狀態，40%的機會保持在"向上"狀態。此外，如果目標對象處於"向下"狀態，則有60%的可能性它將過渡到"向上"狀態，40%的可能性它將保持在"向下"狀態。
需要注意的關鍵是，只需要知道當前狀態就可以確定未來狀態的概率分佈。任何其他歷史信息都是毫無意義的。
3， 馬爾可夫鏈實例
本節將用一個易於理解的例子來解釋馬爾可夫鏈的概念。
讓我們考慮一下，我們試圖預測交易對手名單的評級。每個交易對手都有當前評級。例如，交易對手Alpha可以有等級A、B或C。因此，{A、B、C}是狀態空間中的狀態。
我們得到了一個轉移概率矩陣。這個矩陣也稱為隨機矩陣。轉移概率矩陣告訴我們交易對手轉移到另一個評級的概率。
交易對手評級狀態空間={A，B，C}
轉換矩陣：
需要注意的是，概率行或列的總和是1。
因此，如果交易對手的評級為a，則有30%的機會將其轉換為C級，50%的機會將其自身轉換為B級，而它有20%的機會保持在a級。 隨機過程也有一個概率分佈，我將很快解釋。
這就引出了重要的定理：
如果一個馬爾可夫鏈是{Xn}，並且有一個狀態空間S，具有轉移概率{pij}，其初始概率分佈為{μi}，那麼對於作為S元素的任何i，我們得到：
P（X1=i）=∑μₖPₖi（S的所有k元素之和）
因此，我們還應考慮交易對手的當前概率分佈如下：
對於評級為a的交易對手，其評級為0.5
對於評級為B的交易對手，其評級為0.1
對於評級為C的交易對手，其評級為0.4。
馬爾可夫鏈的概率分佈可用行向量π表示，如下所示：
概率分佈加起來是1。
有了這些信息，我們可以開始更好地理解這個過程。隨著時間的推移，我們可以開始估計物體處於特定狀態的概率。例如，對於下一個評級為C的交易對手，我們可以將所有狀態的當前概率分佈和轉移概率的乘積相加：
P(X1=C) = (0.5*0.3) + (0.1*0.4) + (0.4*0.3) = 0.31
它告訴我們，大約31%的時候，這個交易對手在一個步驟後將獲得C級評級。一旦我們有了這些信息，我們就可以開始以更高的置信度預測一個以隨機移動的物體。
4， 什麼是平穩馬爾可夫鏈分佈？
這就帶來了隨機變量的穩定性。這是本文的最後一個重要部分。本節將介紹馬爾可夫鏈的平穩分佈問題。
假設我們的目標隨機過程需要被估計，我們想了解隨機過程的穩定性。
我們知道馬爾可夫鏈具有概率分佈。平穩這個詞意味著主體是恆定的，我們知道我們的隨機對象可以移動到任何可能的狀態。這個例子中的主體是隨機過程的概率分佈，而不是隨機對象本身。
因此，如果一個馬爾可夫鏈的統計分佈是平穩的，那麼它意味著分佈不會隨著時間的推移而改變。
因此，如果轉移矩陣是P，概率分佈是π，那麼馬爾可夫鏈的平穩分佈是π=π*P
這是一個非常重要的概念。它告訴我們，無論具有平穩概率分佈的系統在開始時在哪裡，隨著時間的推移，系統在一個狀態下花費的時間量將與其概率分佈近似。
而且，鏈的概率總是和它開始的概率一樣。
如果{Xₙ}是一個馬爾可夫鏈，並且它具有平穩分佈{πᵢ}，那麼如果對於所有i都有P（Xₙ=i）=πᵢ，那麼只要m>n ，就有P（Xₘ=i）=πᵢ（對於所有i）。
這些信息可以幫助我們預測隨機過程。
5， 總結
本文解釋了以下關鍵問題：
1， 什麼是馬爾可夫過程？
2， 什麼是馬爾可夫鏈？
3， 馬爾可夫鏈實例
4， 什麼是平穩馬爾可夫鏈分佈？
鏈接地址：
翻譯人：tensor-zhang
