机器学习数学笔记|微积分梯度jensen不等式
觉得有用的话,欢迎一起讨论相互学习~
原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记 为七月在线打call!! 课程传送门
索引
- 微积分,梯度和Jensen不等式
- Taylor展开及其应用
- 常见概率分布和推导
- 指数族分布
- 共轭分布
- 统计量
- 矩估计和最大似然估计
- 区间估计
- Jacobi矩阵
- 矩阵乘法
- 矩阵分解RQ和SVD
- 对称矩阵
- 凸优化
微积分与梯度
- 常数e的计算过程
- 常见函数的导数
- 分部积分法及其应用
- 梯度
- 上升/下降最快方向
- 凸函数
- Jensen不等式
自然常数e
引入
- 我们知道对于公式$y=log_x$,x=1时,y=0.则我们是否能找一点a值,使得y函数在(1,0)点的导数为1呢?
利用导数公式对$y=log_
定理一:极限存在定理
- 单调有界函数必有极限
- 单调数列有上线,必有其极限
构造数列Xn证明其单调有上界
- 又因为其有(1+1)项,则其必比2要大然而又比3要小,则$2<X_n<3$
定理二:两边夹定理
自然常数e的推导
(自然常数e可以看做e=1+frac{1}{1!}+frac{1}{2!}+frac{1}{3!}+frac{1}{4!}+...+frac{1}{n!})
微分与积分
常用函数的导数公式
分部积分法
方向导数与梯度
对于方向导数我们也可以视为
((frac{partial f}{partial x},frac{partial f}{partial y}).(cosvarphi.sinvarphi)^{T})
- 方向导数顾名思义既是复合函数在某一方向上的导数，表示函数在某一方向上的变化趋势。当在某一方向上的方向导数最大时，即是梯度
- 当 (cosvarphi =frac{partial f}{partial x}\sinvarphi = frac{partial f}{partial y}) 时,这是方向导数取最大值,即是梯度
对于梯度我们有
- 方向导数是各个方向上的导数
- 偏导数连续才有梯度存在
- 梯度的方向是方向导数中取到最大值的方向，梯度的值是方向导数的最大值
凸函数与Jsnsen不等式
- 简而言之,即是函数的割线永远位于函数图像的上方.
一阶可微
- 简而言之,即是函数如果是一个凸函数,且一阶可微,则过函数任意一点做函数的切线,函数的切线永远在函数的下方.
二阶可微
凸函数举例
Jensen不等式
- Jensen不等式相当于把凸函数的概念反过来说,即是如果f是一个凸函数,任意取一个在f定义域上的(x,y)点,$ heta$属于[0,1].
- 当只有x,y两个参数,即是使用 基本Jensen不等式 ,然而当推广到k个参数时, 即是表示参数的线性加权的函数值总要小于函数值的线性加权.
- 可以将其推广到概率密度分布上,假设$ heta$表示是事件的概率密度K点分布即所加和为1,则函数值的期望大于期望的函数值
PS:这都是在f是凸函数的状况下! - Jensen不等式是所有不等式的基础,所有不等式都能看做是Jensen不等式利用不同的凸函数推导出来的.
