一、 奥卡姆剃刀原理
这个原理称为“如无必要，勿增实体”，即“简单有效原理”。正如“切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。 剃刀原则从来没有说简单的理论就是正确的理论，通常表述为“当两个假说具有完全相同的解释力和预测力时，我们以那个较为简单的假说作为讨论依据。”其是一种思维方式，可用于指导我们的工作，比如我们能用A和B达到同样的效果，但是B更加简单，于是我们就选择Ｂ，这可以说是该原理的一个应用。举个贴切的例子，做决策树分析的时候，采用9个属性的预测性能和5个属性的预测性能是相似的，那么我们就会选择5个属性来预测。
参考链接：
https://blog.csdn.net/david_jett/article/details/77714796
http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/
二、没有免费的午餐定理（NFL，no free lunch theorem）
NFL定理有一个重要的前提：所有“问题”出现的机会相同、或所有问题同等重要，但是实际情形并不是这样。NFL定理的寓意就是说，如果脱离了具体问题，空泛谈论“什么学习算法比较好”毫无意义。所以要谈论算法的相对优劣，必须要针对具体的学习问题。
参考：周志华《机器学习》
三、回归分析
回归分析是一种预测性的建模技术，研究的是因变量（目标）和自变量（预测器）之间的关系，主要是用于预测分析。比如：司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。
回归分析估计了两个或多个变量之间的关系。可以表明自变量和因变量的显著关系，也表明多个自变量对一个因变量的影响程度。如价格变动与促销活动数量之间联系。
回归技术主要有三个度量，自变量的个数，因变量的类型和回归线的形状。回归技术的分类：Linear Regression线性回归（因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的）、Logistic Regression逻辑回归（用来计算“事件=Success”和“事件=Failure”的概率）、Polynomial Regression多项式回归（对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程）、Stepwise Regression逐步回归（逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型）、Ridge Regression岭回归（用于存在多重共线性（自变量高度相关）数据的技术）、Lasso Regression套索回归（也会惩罚回归系数的绝对值大小）、ElasticNet回归（是Lasso和Ridge回归技术的混合体）、
参考链接：
https://blog.csdn.net/rylq56m9/article/details/51484697
7 Types of Regression Techniques you should know!（译者/刘帝伟 审校/刘翔宇、朱正贵 责编/周建丁）