谷歌机器学习速成课程系列二

第四课 降低损失

本节课上课的是一个美女，课程主要内容是讲述如何减小误差，讲述了如何通过导数求取梯度（负梯度），然后沿着梯度方向前进，高效的更新模型参数，减小误差，不断重复此过程，在负梯度的方向上每次前进多少，取决于学习率（LR），学习率越大，在负梯度方向步伐越大，学习率过大会导致学习不充分，学习率过小则导致模型收敛比较慢，选取合适的学习率是很关键的，这样方式叫梯度下降法，在实现训练中因为数据集很大，计算整个数据集的梯度误差计算量太大，所以一般使用随机梯度下降或者批量梯度下降法。很多机器学习问题都不是凸型的，比如神经网络，只有局部最小值，所以从哪里出发开始梯度下降还是比较重要的。美女工程师对上述问题都做了非常形象的阐述。学习率对梯度下降的影响

• 学习率过小

• 学习率过大

第五课：使用TF的基本步骤

第五课主讲的还是第四课的美女工程师，主要是介绍tensorflow框。tensorflow是谷歌推出的通用图表计算框架，tensorflow的中文官方网站提供了大量的tutorial代码教程：https://tensorflow.google.cn/

Tensorflow框架API的结构层次如下：

美女工程师还特别推荐使用estimators高级API来提高开发效率。

第六课：泛化（Generalization）

上课是第二节课出现的那个哥们，主要是讲泛化，首先他就明确了机器学习目的不是拟合当前数据结果，还是能够产生一个泛化的模型。以垃圾邮件过滤为例，说明了数据过拟合的风险，过拟合会对当前数据精准分类，但是无法对未知数据预测分类，对模型是否好的判断标准，

• 理论 - 泛化理论

• 直觉 - 奥卡姆剃刀定律，模型要尽可能的简单

此外我们可以通过使用测试集方法来验证模型是否出色，监督式机器学习三个假设前提：

1.我们从分布中随机抽取独立同分布 (i.i.d.) 的样本

2.分布是平稳的：分布不会随时间发生变化

3.我们始终从同一分布中抽取样本：包括训练集、验证集和测试集