神经网络的数学基础之总结篇

现在，我们对“神经网络的数学基础”中的核心概念进行归纳总结：

1、学习是指找到一组模型参数，使得在给定的训练数据样本和对应目标值上的损失函数最小。

2、学习的过程，随机选择包含样本数据及其目标值的批量，并计算批量损失相对于网络参数的梯度。随后将网络参数沿着梯度的反方向移动。

3、学习过程能够实现的原因是神经网络由一系列可微分的张量运算组成，可以利用求导的链式法则来得到梯度函数，这个函数将当前参数和当前数据批量映射为一个梯度值。

4、在机器学习中，分类问题中的某个类别叫做类（class）。数据点叫做样本（sample）。某个样本对应的类叫做标签（label）。

5、神经网络的核心组件是层（layer），它是一种数据处理模块，层从输入数据中提取表示。

6、损失函数（loss function）：网络如何衡量在训练数据上的性能，即网络如何朝着正确的方向前进。

7、优化器（optimizer）：基于训练数据和损失函数来更新网络的机制，是使用损失梯度更新参数的具体方式。

8、在训练和测试过程中需要监控的指标（metric）：一个是网络在训练数据上的损失（loss），另一个是网络在训练数据上的精度（accuracy）。

9、过拟合（overfit）：指机器学习模型在新数据上的性能往往比在训练数据上要差，训练精度和测试精度之间的这种差距是过拟合造成的。

10、当前所有机器学习系统都使用张量作为基本数据结构。

11、仅包含一个数字的张量叫做标量（scalar，也叫标量张量、零维张量、0D 张量）。张量轴的个数也叫做阶（rank）。

12、数字组成的数组叫做向量（vector）或一维张量（1D 张量）。一维张量只有一个轴。

13、向量组成的数组叫做矩阵（matrix）或二维张量（2D 张量）。矩阵有 2 个轴（通常叫做行和列）。第一个轴上的元素叫做行（row），第二个轴上的元素叫做列（column）。

14、将多个矩阵组合成一个新的数组，可以得到一个 3D 张量，你可以将其直观地理解为数字组成的立方体。

15、选择张量的特定元素叫做张量切片（tensor slicing）。

16、深度学习中所有数据张量的第一个轴（0 轴，因为索引从 0 开始）都是样本轴 （samples axis，有时也叫样本维度）。深度学习模型不会同时处理整个数据集，而是将数据拆分成小批量。张量的第一个轴（0 轴）叫做批量轴（batch axis）或批量维度（batch dimension）。

17、对于向量数据集，每个数据点都被编码为一个向量，因此一个数据批量就被编码为 2D 张量（即向量组成的数组），其中第一个轴是样本轴，第二个轴是特征轴。

18、当时间（或序列顺序）对于数据很重要时，应该将数据存储在带有时间轴的 3D 张量中。 每个样本可以被编码为一个向量序列（即 2D 张量），因此一个数据批量就被编码为一个 3D 张量。

19、图像通常具有三个维度：高度、宽度和颜色深度。图像张量始终都是 3D 张量，灰度图像的彩色通道只有一维。

20、视频数据是现实生活中需要用到 5D 张量的少数数据类型之一。