zoukankan      html  css  js  c++  java
  • Coursera台大机器学习技法课程笔记13-Deep Learning

                      深度学习面临的问题和现在解决的办法:

                    

                  简要来说,分两步使用DL:初始化时一层一层的选择权重,而后再进行训练:

                  

                那么怎么做pre-training,即怎么选择权重呢?好的权重能够不改变原有资料的信息,即编码过后信息够解码过后仍能保持

               

              用类神经网络做如下:

             

                   这样做的原因就是,能找到一个好的特征转换:找到隐藏的资料结构,学到数据典型的表现形式

                  

                 在层与层的autoencoder过程中,不需要标签信息:

                 

           下面介绍了一个regularization方法:在资料中加入artifical noise(很疯狂的想法):

           

          上面的autoencoder是非线性的,下面介绍一个线性的模型,实际上就是PCA算法

          

        对Ein进行优化

        

       继续推导,得到结论:对资料的投影方向,就应该是其最大的几个特征值对应的特征向量的方向

      

               PCA

       

      

  • 相关阅读:
    基础练习 数列排序
    入门训练 Fibonacci数列
    入门训练 圆的面积
    入门训练 序列求和
    fzu 2111 Min Number
    入门训练 A+B问题
    历届试题 城市建设
    sort 树 hash 排序
    nyist 676 小明的求助
    快速幂 蒙格马利算法
  • 原文地址:https://www.cnblogs.com/573177885qq/p/4705725.html
Copyright © 2011-2022 走看看