机器学习算法篇—神经网络(neural network)

介绍

人工智能的底层模型是"神经网络"(neural network)。许多复杂的应用(比如模式识别、自动控制)和高级模型(比如深度学习)都基于它。

机器学习算法篇—神经网络(neural network)

感知器

历史上,科学家一直希望模拟人的大脑,造出可以思考的机器。人为什么能够思考?科学家发现,原因在于人体的神经网络。

机器学习算法篇—神经网络(neural network)

  • 外部刺激通过神经末梢,转化为电信号,转导到神经细胞(又叫神经元)。

  • 无数神经元构成神经中枢。

  • 神经中枢综合各种信号,做出判断。

  • 人体根据神经中枢的指令,对外部刺激做出反应。

既然思考的基础是神经元,如果能够"人造神经元"(artificial neuron),就能组成人工神经网络,模拟思考。上个世纪六十年代,提出了最早的"人造神经元"模型,叫做"感知器"(perceptron),直到今天还在用。

机器学习算法篇—神经网络(neural network)

上图的圆圈就代表一个感知器。它接受多个输入(x1,x2,x3...),产生一个输出(output),好比神经末梢感受各种外部环境的变化,最后产生电信号。

为了简化模型,我们约定每种输入只有两种可能:1 或 0。如果所有输入都是1,表示各种条件都成立,输出就是1;如果所有输入都是0,表示条件都不成立,输出就是0。

神经元模型是一个包含输入,输出与计算功能的模型。输入可以类比为神经元的树突,而输出可以类比为神经元的轴突,计算则可以类比为细胞核。

举例

首先了解一下神经网络的运作过程:

  • 输入和输出

  • 权重(w)和阈值(b)

  • 多层感知器的结构

根据这个过程,我们通过一个例子来初步了解神经网络:

上海将要举办维多利亚的秘密(其实前几天已经结束了,奚梦瑶还摔了一下),小智拿不定主意,到底要不要去看

他决定考虑三个因素。

  1. 天气:举办当天是否会下雨?

  2. 同伴:能否找到个基友一起去?

  3. 价格:门票是否可承受?

这就构成一个感知器。上面三个因素就是外部输入,最后的决定就是感知器的输出。如果三个因素都是 Yes(使用1表示),输出就是1(去参观);如果都是 No(使用0表示),输出就是0(不去参观)。

权重和阈值

看到这里,可能会问:如果一些因素成立,而另一些因素不成立,输出是什么?比如,当天晚上不下雨,门票也不贵,但是小智找不到基友,他还要不要去参观呢?

现实中,各种因素很少具有同等重要性:某些因素是决定性因素,另一些因素是次要因素。因此,可以给这些因素指定权重(weight),代表它们不同的重要性。

  • 天气:权重为4

  • 同伴:权重为4

  • 价格:权重为8 (因为买不到票,黄牛票最高炒到30万)

上面的权重表示,价格是决定性因素,同伴和天气都是次要因素,小智就是纯粹的想看看衣服设计风格。

如果三个因素都为1,它们乘以权重的总和就是 8*1 + 4*1 + 4*1 = 16。如果天气和价格因素为1,同伴因素为0,总和就变为 8*1 + 4*0 + 4*1 = 12。

这时,还需要指定一个阈值(threshold)。如果总和大于阈值,感知器输出1,否则输出0。假定阈值为8,那么 12 > 8,小智决定去参观。阈值的高低代表了意愿的强烈,阈值越低就表示越想去,越高就越不想去。

上面的决策过程,使用数学表达如下。

机器学习算法篇—神经网络(neural network)

上面公式中,x表示各种外部因素,w表示对应的权重。

总结

神经网络相对于逻辑回归没有提供任何新的知识,就是换了个花样来表示。 但神经网络这样表示有个重大的作用:它方便我们以此为基础做逻辑回归的多层组合嵌套,后面的文章会继续讲浅层神经网络和深度神经网络。


分享到:


相關文章: