数学基础之微积分-导数

在方法论上，机器学习主要使用“最优化”方法，经常表现为最小化某个“目标函数”或“损失函数”。一般需要通过某种“迭代算法”寻找近似的“数值解”。

导数

对于一元函数,记其一阶导数为或,其定义为：

几何上，一阶导数就是函数在x处的切线斜率：

一阶导数仍然是x的函数，故可定义的导数，即二阶导数：

直观上，二阶导数表示一阶导数的变化速度，即曲线的弯曲程度，也称“曲率”。

导数示例说明

假设,则一阶导数为：，二阶导数为：

上述三条曲线的python代码：

import numpy as npimport matplotlib.pyplot as pltx=np.arange(-3,3,0.1)y=3*(x**3)+2*(x**2)#一阶导数y1=9*(x**2)+4*x#二阶导数y2=18*x+4
plt.plot(x,y,label="y")plt.plot(x,y1,label="y'",linestyle="--")plt.plot(x,y2,label="y''",linestyle="-.")plt.xlabel("x")plt.ylabel("y")plt.title("y&y'&y''")plt.legend()plt.show()

绘制出的图像如下：

通过上述图像可知：

1、一阶导数表明的是函数的在x出的切线斜率是先降后升，最小值为0

2、二阶导数表明一阶导数的变化速率，即原函数的曲率是随着x的增加线性增加的