人工智能之--神经网络

神经网络与反向传播（注重思想，如非必要尽量不提数学公式）

基于神经网络的学习算法是一种朴素的生物仿生学思想。与最早的飞机设计一样，试图模拟鸟类的飞行动作来发明飞行器。神经网络算法试图模拟人脑的运作模式。神经元是神经系统的最小单位，它是一种特殊的细胞如下图，树突可以看作是神经原细胞的输入，而轴突则可以视为神经元细胞的输出。轴突会连接到其他神经元细胞的树突从而形成了了一个非常复杂的网络。这里提示了一个很深刻的哲学思想，简单元素的的简单连接，可以实现非常复杂功能。所有复杂的神经网络的基本原始模型源自于此。如何用数学模型来表达呢？我们可以用输入向量的分量代表树突，权重代表树突连接的强度，所有输入与强度和达到一个阈值则会激活轴突向下传递一个型号，所以可以用一个阈值函数来表达轴突传递过程。这个阈值函数就是大家耳熟能详的sigmod函数，为什么是这个函数呢？因为它起到了一个阶梯函数的作用，同时保持了连续性。sigmod的函数有很多形式，用1/1+e(-x)形式，完全是因为后续计算的便利性。伟大的发现很多都是科学家在家孜孜不倦猜出来的，所以爱因斯坦说他发现了相对论不是因为他有多伟大，而是他与问题待的够久，有了灵感。

图1 神经元结构示意图

神经网络数学模型搭建好了以后，如何求其连接的权重（参数）变成了非常难的问题，直到反向传播算法被应用到这里面。用两个神经元的连接可以示意最简单的神经网络，包括w1,w2两个参数的训练。基本思想是求理想输出与实际训练数据的差（性能函数)作为优化对象，指示参数调整的方向（也就是我们常说的梯度方向），梯度方向也就是性能函数与w1,w2两个参数的偏导数。反向传播算同构链式求导法则的推导，并结婚了simod函数的特征使得每层神经元的参数只与上层输入、本层的输出相关，从而使计算由全局计算变成了局部计算，从而使得逐层训练参数成为可能。

神经网络看上去很棒，但应用起来有几个地方需要注意：1、神经网络本质上是函数拟合，无法证明它比其他方法更好，所以不是神药应用需冷静；2、神经网络的输入需要预处理体现问题的本质，这个环节还没有处理太好；3、神经网络会出现过拟合现象，也就对训练样本拟合的很好，但对测试样本效果不佳；4、参数的步长选择更多的是经验性的，如果步长过长则会产生正反馈引起结果震荡，这个步骤会比较花时间去调参。