如何理解贝叶斯公式?

让我们从一个故事开始。

1 看着后视镜往前开车

想象这么一个场景,我开着车,经过笔直的大道,快速地往下一个路口驶去。我知道,到了下一个路口就要右转了。

这件事情很简单,我坐在驾驶室内,看到下一个路口,往右边打方向盘就好了:

突然,不管什么原因(这故事是我写的,可以安排一百种原因,干脆就不解释),反正前挡风玻璃碎了:

不要纠结我这幅图,反正你已经无法看清前面的路了,那怎么知道什么时候该右转?

还好,开车的是一位数学家,智商及时上线。

数学家根据自己的经验,估计这条笔直的道路上:

这也就意味着如果随意的右转,有95%的概率是错误的。

数学家从后视镜看出去,发现后面有一辆车在打右转弯灯,他意识到:

新的信息出现了,此时如果右转,错误的概率就比之前小很多。

这种思考方法,就是贝叶斯定理所阐述的思考方法。

2 结合开车来理解贝叶斯公式

我们来看看贝叶斯公式是怎么写的:


先把刚才的开车给符号化:

我们再来理解下贝叶斯公式:

因此贝叶斯公式实际上阐述了这么一个事情:

我们再通过韦恩图来理解一下这个事情(为了观看方便,下面的A,B的圆形面积是示意):


新的信息的出现,比如之前看到了亮着右转弯灯的车,就好比知道点已经落入了 B 。至于为什么B事件发生后导致的调整为:



这就需要代数了,推导也不复杂,这里就不演算了。

2.1 小结

我们可以看到有形的十字路口,却看不到明天是否下雨,我们可以看到前方是否有路障,却不清楚下一次飞机是否会出事。甚至有时候,眼睛还会欺骗我们。

很多时候,我们不得不看着后视镜开车,这个时候概率论、贝叶斯定理就是我们的指路明灯。

看着后视镜开车,肯定常常会撞车,没关系,我们可以不断的去修正我们的假设。

比如,撞了几次车之后,就发现可能之前估计的在十字路口打右转弯灯的数据明显偏大了,我们修正之后再继续开车。我们人类的学习,本身也是一个试错的过程。

3 贝叶斯定理与人脑

贝叶斯定理现在很多人在研究,就是因为不少人相信贝叶斯定理和人脑的工作机制很像(此处颇多争论,望自行判断),因此成为机器学习的基础。

比如,你和对方聊天的时候,如果对方说出“虽然”两个字,你大概就会猜测,对方后继九成的可能性会说出“但是”。我们的大脑看起来就好像是天生在用贝叶斯定理。

吴军博士在他的著作《数学之美》里面就提到了,最早的自然语言处理,比如翻译、语音识别,都是通过语法分析来进行的,就是把“主谓宾”分析清楚,然后处理,正确率惨不忍睹。

后来,google由自然语言处理专家贾里尼克领导的部门,通过统计、概率方法进行上述研究,正确率提高了很多。在书中也列举了贝叶斯定理是如何参与自然语言处理的。

书中还有一句业界广为流传的名言:

语法是人类后来总结出来的,我们天生是不需要语法就可以开口说话的,或许,人脑真的是贝叶斯大脑。

最后,有一个小小的问题,根据我们的经验,硬币正反两面出现的概率都是50%。如果我扔了一千次都是正面,那说明了什么?