python实现神经网络

Very simple Neural Network

首先确定我们要实现的任务：

输出的为样本为X为4*3，有4个样本3个属性，每一个样本对于这一个真实值y,为4*1的向量，我们要根据input的值输出与y值损失最小的输出。

Two Layer Neural Network:

首先考虑最简单的神经网络，如下图所示：

输入层有3个神经元(因为有3个属性),输出为一个值，w1,w2,w3为其权重。输出为:

f(w1?x1+w2?x2+w3?x3)

这里的f为sigmoid函数：

f(x)=11+e?x

一个重要的公式：

df(x)dx=f(x)(1?f(x))

神经网络的优化过程是：

1. 前向传播求损失

2. 反向传播更新w

简单是实现过程如下所示：

注意这里整体计算了损失，X(4*3) dot w(3*1) = 4*1为输出的4个值，所以

l1_error = y - l1同样为一个4*1的向量。

重点理解：

下面看一个单独的训练样本的情况，真实值y==1,训练出来的为0.99已经非常的接近于正确的值了，因此这时应非常小的改动syn0的值，因此：

weight_update=input_value?l1_delta

运行输出结果为，可以看到其训练的不错：

Three Layer Neural Network:

我们知道，两层的神经网络即为一个小的感知机。它只能出来线性可分的数据，如果线性不可分，则其出来的效果较差，如下图所示的数据：

如果仍用上述的代码(2层的神经网络)则其结果为：

因为数据并不是线性可分的，因此它是一个非线性的问题，神经网络的强大之处就是其可以搭建更多的层来对非线性的问题进行处理。

下面我将搭建一个含有5个神经元的隐含层，其图形如下，（自己画的，略丑），这来要说下神经网络其实很简单，只要你把层次的结果想清楚。

要搞清楚w的维度：第一层到第二层的w为3*5，第二层到第三层的W为5*1，因此还是同样的两个步骤，前向计算误差，然后反向求导更新w。

完整的代码如下：

运行的结果为：

如果上面的代码看懂了，那么你就可以自己搭建自己的神经网络了，无论他是多少层，或者每个层有多少个神经元，都能很轻松的完成。当然上面搭建的神经网络只是一个很简单的网络，同样还有许多的细节需要学习，比如说反向传回来的误差我们可以用随机梯度下降的方法去更新W,同时还可以加上偏置项b，还有学习率 α等问题。

觉得本文有帮助？请分享给更多人