機器學習算法篇--貝葉斯分類器

機器學習算法篇--貝葉斯分類器

介紹:

貝葉斯決策就是在不完全情報下,對部分未知的狀態用主觀概率估計,然後用貝葉斯公式對發生概率進行修正,最後再利用期望值和修正概率做出最優決策。

貝葉斯公式:

P(Y|X)= P(X|Y)P(Y)/P(X)

舉例:

症狀 年齡 疾病

流鼻涕 老年人 感冒

流鼻涕 青年人 發燒

頭暈 中年人 低血糖

頭暈 中年人 感冒

流鼻涕 小孩子 感冒

頭暈 小孩子 低血糖

現在又來了第七個病人,是一個流鼻涕的中年人,請問他換上感冒的概率有多少?

下面我們來分析一下,這個問題,其實就是求在“流鼻涕和中年人”這兩個條件發生的情況下,感冒的概率是多少。那我們用貝葉斯公式代入,可得:

P(感冒|流鼻涕x中年人) = P(流鼻涕x中年人|感冒) x P(感冒) / P(流鼻涕x中年人)

這時我們用條件獨立假設,流鼻涕和中年人都是獨立的特徵,公式可以變化為:

P(感冒|流鼻涕x中年人) = P(流鼻涕|感冒) x P(中年人|感冒) x P(感冒) / P(流鼻涕) x P(中年人)

接下來就是求每一個事件發生的概率,我們來分別求一下:

P(流鼻涕|感冒) = 2 / 3 ---> 三個感冒的人裡面有兩個流鼻涕的,所以是2/3

P(中年人|感冒) = 1 / 3 ---> 三個感冒的人裡面有一箇中年人,所以是1/3

P(感冒) = 1 / 2 ---> 六個人裡面有三個感冒的,所以是1/2

P(流鼻涕) = 1 / 2 ---> 六個人裡面有三個流鼻涕的,所以是1/2

P(中年人) = 1 / 3 ---> 六個人裡面有兩個中年人的,所以是1/3

整理後就變成了:

P(感冒|流鼻涕x中年人) = (2/3 * 1/3 * 1/2)/(1/2 * 1/3)= 2/3

最後得出結果,流鼻涕的中年人患上感冒的概率是 2/3

總結:

貝葉斯分類器的基本原理:在統計資料的基礎上,依據某些特徵條件獨立假設,計算各個類別的概率,從而實現分類。

= P(打噴嚏|感冒) x P(建築工人|感冒) x P(感冒)


分享到:


相關文章: