介紹:
貝葉斯決策就是在不完全情報下,對部分未知的狀態用主觀概率估計,然後用貝葉斯公式對發生概率進行修正,最後再利用期望值和修正概率做出最優決策。
貝葉斯公式:
P(Y|X)= P(X|Y)P(Y)/P(X)
舉例:
症狀 年齡 疾病
流鼻涕 老年人 感冒
流鼻涕 青年人 發燒
頭暈 中年人 低血糖
頭暈 中年人 感冒
流鼻涕 小孩子 感冒
頭暈 小孩子 低血糖
現在又來了第七個病人,是一個流鼻涕的中年人,請問他換上感冒的概率有多少?
下面我們來分析一下,這個問題,其實就是求在“流鼻涕和中年人”這兩個條件發生的情況下,感冒的概率是多少。那我們用貝葉斯公式代入,可得:
P(感冒|流鼻涕x中年人) = P(流鼻涕x中年人|感冒) x P(感冒) / P(流鼻涕x中年人)
這時我們用條件獨立假設,流鼻涕和中年人都是獨立的特徵,公式可以變化為:
P(感冒|流鼻涕x中年人) = P(流鼻涕|感冒) x P(中年人|感冒) x P(感冒) / P(流鼻涕) x P(中年人)
接下來就是求每一個事件發生的概率,我們來分別求一下:
P(流鼻涕|感冒) = 2 / 3 ---> 三個感冒的人裡面有兩個流鼻涕的,所以是2/3
P(中年人|感冒) = 1 / 3 ---> 三個感冒的人裡面有一箇中年人,所以是1/3
P(感冒) = 1 / 2 ---> 六個人裡面有三個感冒的,所以是1/2
P(流鼻涕) = 1 / 2 ---> 六個人裡面有三個流鼻涕的,所以是1/2
P(中年人) = 1 / 3 ---> 六個人裡面有兩個中年人的,所以是1/3
整理後就變成了:
P(感冒|流鼻涕x中年人) = (2/3 * 1/3 * 1/2)/(1/2 * 1/3)= 2/3
最後得出結果,流鼻涕的中年人患上感冒的概率是 2/3
總結:
貝葉斯分類器的基本原理:在統計資料的基礎上,依據某些特徵條件獨立假設,計算各個類別的概率,從而實現分類。
= P(打噴嚏|感冒) x P(建築工人|感冒) x P(感冒)
閱讀更多 5分鐘機器學習 的文章