初级算法梳理 -【任务1 线性回归算法梳理】

任务内容：机器学习的一些概念

1. 有监督、无监督、泛化能力、过拟合欠拟合(方差和偏差以及各自解决办法)、交叉验证
2. 线性回归的原理
3. 线性回归损失函数、代价函数、目标函数
4. 优化方法(梯度下降法、牛顿法、拟牛顿法等)
5. 线性回归的评估指标
6. sklearn参数详解

具体解释：

有监督、无监督、泛化能力、过拟合欠拟合(方差和偏差以及各自解决办法)、交叉验证

机器学习任务包括两类，有监督的和无监督的，有监督的主要包括分类与回归，非监督的主要包括聚类与频繁项集挖掘。

• 监督学习：给数据给标签，学习出一个模型进行预测与分析。
• 无监督学习：只给数据不给标签，学习出一个模型进行预测与分析。
• 半监督学习：给的部分数据带有标签而部分数据没带有标签，学习出一个模型进行预测和分析。
• 泛化能力（Generalization Ability）是指学习到的模型对新鲜样本的适应能力、预测能力。
• 过拟合欠拟合（方差和偏差以及各自解决方法）
• 过拟合：训练集效果非常好，测试集非常糟糕；把不该学的噪声特征都学到了。
  解决方法：Early Stopping，数据集扩增（Data augmentation），正则化，（Regularization)，dropout。
• 欠拟合：训练集和测试集效果都非常糟糕；没有很好学习应有特征。

优化方法(梯度下降法、牛顿法、拟牛顿法等)

梯度下降算法
牛顿法
拟牛顿法

线性回归的评估指标

[衡量线性回归法的指标MSE, RMSE,MAE和R Square]（https://www.cnblogs.com/zzzzy/p/8490662.html）

sklearn参数详解

LinearRegression