L1正则化和L2正则化的区别：L1起截断作用，L2起缩放作用（不让参数θ过大）
L1稀疏，L2平滑作用
L1的稀疏化性质去掉无关特征，只留下相关特征
L2如果特征有些是共线性的，L1会扔掉这些特征，导致模型误差较大
数据和特征处理
数据清洗
正负样本不平衡的处理方法：上采样，下采样，修改损失函数
数值型特征：幅度调整，归一化，离散化
类别型特征：one-hot 编码
组合特征
特征选择
原因：冗余，噪声
特征选择VS降维 ：前者是踢掉特征里面和预测结果关系不大的特征，后者是做特征的计算组合构成新的特征
特征选择的3种方法：
过滤型
包裹型
嵌入型：加入L1正则化，有2-3千万是有权值的，其没有权值
