zoukankan      html  css  js  c++  java
  • 支持向量机(SVM)

    二分类,我们之前使用的激活函数是sigmoid

    对于支持向量机来说我们使用的损失函数不同

    最后那个1/2 theta^2是正则化项而已

    那么为什么这个激活函数能做到大间距分类器呢

    当我们训练到一定程度的时候,由于我们cost function 的特性

    可以等于0

    那么也就是说只剩下

    也就是说在训练的后期(分类已经出来了的情况下),我们通过减少最后那一项来得到大间距分类器

    为什么减少最后那一项就可以呢

    由于常数不重要

    我们可以把优化最后一项看做优化theta的范数

    分界线其实是与向量(theta1, theta2 ,,,,,thetan)是正交的(这个你简单的画个图就知道了)

    对于小间距分类器来说,我们的样本点向量 与tehta的内积会比较小

    对于正向量来说在训练了一段时间之后

    xi 与theta 的内积必须大于1

    其实也就是xi与theta 的单位方向向量向乘 × theta 的范数

    在这种情况下,pi会很小,相对应的来说theta的范数就会很大

    那么对于一个好的分类器

    我们要求pi很大,也就是说thetai较小

    那么我们在拟合的很好的情况下去min theta的范数就能达到获得大间距分类器的效果

  • 相关阅读:
    C# 对Outlook2010进行二次开发
    利用AForge.NET 调用电脑摄像头进行拍照
    SQL2012 提示评估已过期 解决方案- sql server问题
    图片转换PDF
    [转载]理解weight decay
    ATTENTION NETWORK分析
    sys.stdout.write和print和sys.stdout.flush
    Flutter免费(视频)教程汇总
    Windows核心编程随笔
    .NET家族
  • 原文地址:https://www.cnblogs.com/shensobaolibin/p/9559188.html
Copyright © 2011-2022 走看看