决策树的构建满足信息熵增益最大化原则
决策树的优点：
- 可解释性高
- 能处理非线性的数据
- 不需要数据归一化
- 可以用于特征工程
- 对数据分布没有偏好
- 广泛使用
- 容易软件实现
- 可以转化为规则
决策树的弱点
- 启发式生成，不是最优解
- 容易过拟合
- 微小的数据改变会改变整个树的形状
- 对类别不平衡的数据不友好
随机森林指训练多个决策树结果，预测时回归取均值，分类取众数
随机体现在带放回的随机取数据子集做训练数据，随机选择的特征子集中选择一个特征
随机森林消除了决策树容易过拟合的缺点，不会因为训练数据的小变化而剧烈变化
K-means算法
初始化：随机选择K个点，作为初始中心点，每个点代表一个group.
交替更新：
步骤1.计算每个点到所有中心点的距离，把最近的距离记录下来并赋把group赋给当前的点
步骤2.针对于每一个group里的点，计算其平均并作为这个group的新的中心点（重心：分别每个维度的坐标和除以坐标个数）。
如果中心点不再变化就停止
一定会收敛吗？ 一定收敛
不同的初始化结果，会不会带来不一样的结果？会不一样
K-Means的目标函数是什么？ 非凸函数，局部最优不一定是全局最优
$ sum_{i=1}^n sum_{k=1}^k r_{ik}(x_i-u_k) $
步骤1：假定u已知求r最优解 步骤2：假定r已知求u最优解
K如何选择？求出k=2-n的目标函数的值
其他聚类算法：GMM、层次聚类、Spectral Clustrering、DBSCAN、Kernel K-Means...
