深度学习 理论基础二 梯度下降法和反向传播

预备知识：

两个重要的函数：

得分函数：

损失函数：

核心目标：

找到最合适的参数W

使得损失函数取值最小化

也是最优化的过程

一、梯度下降法

计算梯度：

数值梯度：

解析梯度：

二、反向传播

神经网络的梯度求法。