UAI 2019教程《深度学习数学基础》

虽然TensorFlow、PyTorch等深度学习框架大大降低了深度学习模型实现的门槛，让研究者或开发者可以像搭积木一样通过组合和尝试（调参）来研发新的深度学习模型，目前深度学习的发展仍离不开背后数学基础的指导。机器学习中的一些数学理论，如泛化误差、VC维等对深度模型的构建依然有着非常重要的指导意义。例如现有的一些深度网络容易受到对抗样本的攻击，从工程角度来说，这些模型可能在大部分数据上能够达到满意的指标，但是人们可以利用这些网络理论上的漏洞和缺陷对其进行攻击，对自动驾驶等系统产生严重的影响。

在人工智能不确定性会议（UAI）2019中，特拉维夫大学的教程《MATHEMATICS OF DEEP LEARNING》（《深度学习数学基础》）介绍了与深度学习相关的一些数学基础。该PPT首先介绍了目前一些成功的基于深度学习的应用，如疾病诊断、自动翻译、视频分类、图像降噪等。但作者认为，目前数学理论并不能很好地解释为什么深度学习可以达到如此好的效果。一些数学理论尝试解释深度网络的工作原理，例如深度网络需要多少训练数据、池化层的作用是什么、网络深度的作用等。后面，作者着重介绍了泛化误差、对抗攻击、输入边界、数据和模型的不变性等理论。