zoukankan      html  css  js  c++  java
  • RBF、 KNN 与Decision tree

    要做一个classifier,的确不易。面对需要训练的classifier,是否training error越少越好呢?显然不是,因为虽然training error降低了,但test error不见得就会降低,实际表现为一个拐点。如下图:

     

    为了平衡error的权重,我们引入了额外的函数lambda*θ,训练效果由error和 lambda*θ共同评价。下面讨论一下lambda的取值:

     

     (存疑)

      

     通过加入额外的评价函数,我们对模型的训练应该是比较到位的。但是用一个函数对所有样本分类,在样本比较复杂的时候就会有点吃力。

    因此,我们采取多个函数综合评估的方式进行,即RBF(radial base function)

    RBF采取多个正态分布函数进行评估,各函数的均值和方差不一样。

    (待续)

    K-NN 最近邻算法。俗话说物以类聚,人以群分。该算法就是采用离目标点最近的k个邻居,对目标点进行分类。但k值的选取非常关键,而且易受干扰。

     decision tree:决策树,根据不同的决策选择不同的路径。

     

     

  • 相关阅读:
    5.常见类和API
    4.异常
    3.面向对象
    2.控制语句和数组
    1.初始java 数据类型 运算符
    C#设计模式——桥接模式
    C#设计模式——适配器模式
    C#设计模式——原型模式
    C#设计模式——建造者模式
    C#设计模式——抽象工厂模式
  • 原文地址:https://www.cnblogs.com/Lifehacker/p/notes_about_neural_network.html
Copyright © 2011-2022 走看看