zoukankan      html  css  js  c++  java
  • 机器学习005-Sparse Coding

    参考链接:https://blog.csdn.net/walilk/article/details/78175912

    稀疏编码与PCA的区别:
    回顾一下PCA:
    1. 原数据点与投影点距离最小化 ==> 协方差最大化
    2. 奇异值分解得到完备基(PCA的关键)
    稀疏编码与PCA不同,它得到的是超完备基,即向量基的个数比最大无关向量组多。但是多多少呢??
    PCA得到的是完备基,因此系数向量是唯一的;但是超完备基的系数向量不唯一。
    那么如何得到超完备基呢??

    上式前一项与PCA一样,都是距离最小化,但是多了第二项的“稀疏性惩罚”,用范数来表示。这样既保证了拟合效果,又考虑了稀疏性。
    为了防止a过小,才有约束条件Φ<C。
    k>n,k是如何确定的?

    稀疏的概念:
    这里把“稀疏性(sparsity )”定义为:只有很少的几个非零元素或只有很少的几个远大于零的元素。
     要求系数向量 a 是稀疏的意思就是说:对于一个输入向量的基向量组合,我们只想有尽可能少的几个系数远大于零。
    范数和稀疏的关系:
    用范数来表示稀疏性。

    稀疏编码是无监督学习!

  • 相关阅读:
    Python变量常量命名
    代码格式
    Python 输入输出
    数据源
    LaTeX Test
    软件工程
    eclipse-智能提示设置
    java代码里设置指定颜色常值
    命令行中Vim直接打开某行
    Vim里快速替换命令
  • 原文地址:https://www.cnblogs.com/zzzack/p/9963616.html
Copyright © 2011-2022 走看看