机器学习中的数学基础
微分学
- 求导数
- 求偏导数
以上两个通过公式或者使用泰勒公式进行逼近得到的
求f(x)在x0处的导数
根据泰勒公式:
f(x) = f(x0) + f'(x0)(x - x0) + f''(x0)(x - x0)^2/2! + f'''(x0)(x - x0)^3/3! + ... + f^n(x0)(x - x0)/n! + o(x - x0)
对于一般的二次函数, 泰勒展开到达 n = 1, 即f(x) = f(x0) + f'(x0)(x - x0) + o(x - x0), 这里设公式中的f'(x0) = L, 所以f(x)在x0处的导数f'(x0) = L, 我们把(x - x0)看成dx, 其实f'(x0)就是对dx在泰勒展开公式中的导数
常用的泰勒展开
-
e^x =
-
sin(x) =
-
cos(x) =
-
夹逼定理
优化的算法
- 局部法
- 牛顿法: 使用二阶逼近(泰勒公式)
- 梯度下降法: 使用一阶逼近(泰勒公式)