zoukankan      html  css  js  c++  java
  • 机器学习---朴素贝叶斯与逻辑回归的区别(Machine Learning Naive Bayes Logistic Regression Difference)

    朴素贝叶斯与逻辑回归的区别:

    朴素贝叶斯

    逻辑回归

    生成模型(Generative model)

    判别模型(Discriminative model)

    对特征x和目标y的联合分布P(x,y)建模,使用极大后验概率估计法估计出最有可能的P(y|x)

    直接对后验概率P(y|x)建模,使用极大似然估计法使其最大化

    不需要优化参数,先用极大似然估计法估计出先验概率P(y)和条件概率P(x|y),然后计算出极大后验概率P(y|x)

    需要优化参数,先用极大似然估计法得出损失函数,再用梯度下降法等优化参数

    假设特征之间相互独立,对于不相互独立的特征,朴素贝叶斯的分类效果会差一些

    不必假设特征之间是相互独立的,对于不相互独立的特征,逻辑回归会在训练过程中对参数自动调整

    Andrew Ng和Michael Jordan在2001年发了一篇NIPS短文《 On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes 》,他们把这两个模型在各种数据集上面进行测试,最后得到在小数据上Naive bayes可以取得更好的效果,随着数据的增多、特征维度的增大,Logistic regression的效果更好。这是因为Naive bayes是生成模型,假设训练数据服从某种分布,在有prior的情况下模型能够把数据fit的更好,但是随着数据量的增多,prior对整个数据后验概率分布的影响逐渐降低。而Logistic regression属于判别模型,不去建模联合概率,通过训练数据直接预测输出,因此在数据足够多的情况下能够得到更好一些的效果。
  • 相关阅读:
    3组 需求分析报告
    结对编程作业
    3组 团队展示
    第一次个人编程作业
    第一次博客作业
    2020年面向对象程序设计寒假作业3
    3组-Alpha冲刺-4/6
    3组-Alpha冲刺-3/6
    3组-Alpha冲刺-2/6
    3组-Alpha冲刺-1/6
  • 原文地址:https://www.cnblogs.com/HuZihu/p/9566705.html
Copyright © 2011-2022 走看看