线性回归算法
什么是回归
1:分析 银行贷款例子
如图
2: 参数表达式
由需求可知,满足基本 基本线性设定
3:通俗解释
4:通过数学解释
由需求可知 如果两个参数可以写成
整合成数学公式为
再转化成矩阵方式
5:分析误差
5.1公式假设
为差异 , 因为理论数据与真实值 存在差异,该差异理论上可以为负数,可以为正数
5.2 误差值详解
误差包括
5.3高斯分布图
从理论上将,银行贷款的金额 普遍数据存在中间阶段 , 数据过小,或者数据过大的概率都相对较低
5.4 讲高斯分布的误差值带入假设式
假设高斯分布的均值为0 ,即数据集满足正态分布
我们通过 y的真实值,和
的预测值, 货物误差分布的值
5.5 似然关系
假设奖品数量无线个
如:10个人抽奖,前9个人抽到1等奖 ,第10个人抽到了2等奖,那么我就可以估计 该奖品抽到的概率为90%
1: 似然函数
解释:似然函数就是 以测试样品去估计参数值 ,参数估计
即我们希望 为0 最好 ,
使 预测值等于真实值
** 设定目标
我们使 测定值为真实值得概率越高越好
2:对数似然
由上述似然函数, 累乘的方式获取数据,由于累乘的方式很难计算
我们以log 取低 转成加法
3:展开化简
由上述内容可知:
我们期望 预测值值越大,越接近真实值
公式分析
取后半段变量数据
我们定义新变量
目标即为 该表达式越小越好
5.6 对公式求导求偏导取最小值
求导
其中x为矩阵 ,y为真实值
我们通过矩阵和真实值既可以获取偏导
,该值可以再一般行情况下代表数据走向
6:评估公式
6.1 :评估方法
7:梯度下降
引子:
据上述操作可以获取 偏移值 ,但是这个值不是在所有的情况下都是能求出来的.我们这里使用另外一种方式
1:引入
我们不断测试斜率 去取导数斜率最小值
2:常规套路
通过很多数据不断测试斜率 取最优值
3:如何优化
2:梯度下降详解
3:梯度下降方式
1: 目标函数
2:常规下降方式
1:批量梯度下降
好处:精度最高
坏处:消耗资源,计算速度慢
收敛方向好确定
2:随机梯度下降
好处:计算速度快,不消耗资源
坏处:收敛方向不可控制
收敛方向随机不可控
3:小批量梯度下降法:
4: 梯度下降如何控制
我们尽量选择最优梯度下降方案,
