学习笔记：神经元模型（2）

神经元模型的另一个重要部分是激活函数，激活函数的本质是向神经网络引入非线性因素，使得神经网络可以拟合各种曲线。因为激活函数是非线性函数，从而，神经网络的输出不再是输入的线性组合，而是几乎可以逼近任意函数，也就增强了神经网络的表达能力。

这里我们给出三种常用的激活函数，如下图所示。

Python的Numpy package中提供了exp和maximum函数，因此，可以很方便地描述上述三个函数，如下图所示。

描述了这三个函数，就可以用matplotlib package提供的函数方便地画出函数图像，这三个函数的图像如下图所示。为便于比较，将这三个函数的图像在同一坐标系显示。

从图像中不难看出，sigmoid 函数不是关于原点中心对称的（zero-centered)；tanh解决了sigmoid中的 zero-centered 问题；ReLU是目前使用最频繁的一个函数。

文 | Lauren 图 | Lauren

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。