zoukankan      html  css  js  c++  java
  • 机器学习技法笔记-Lecture 13 Deep learning

    一些挑战:

    网络结构的选择。CNN的想法是对邻近的输入,有着相同的weight。

    模型复杂度。

    最优化的初始点选择。pre-training

    计算复杂度。

    包含pre-training的DL框架

    如何做pre-training? 下面介绍了一种方式。

    weight可以看做是对x做特征转换,那么希望在第一次转换后(从0层到1层)仍然能保持足够多的原来的信息,那么再从1层回到0层,应该得到近似的结果。

    这种NN叫做autoencoder,两层分别是编码和解码的操作,来逼近 identity function。

    通过逼近 identity function的方式,能够学习到数据中隐藏的结构,当做一种变换。

    对监督学习:有信息价值的表示

    对无监督学习:对典型数据的表示

    autoencoder的损失函数用平方误差表示,因为只用到了x,可以看做是无监督学习。

    一般限制编码的权重等于解码的权重,减少变量的个数,降低复杂度。

    deep learning中的正则化

    对noise的处理?

    加入一些人为噪音,使得autoencoder的pre-training更健壮。

    linear autoencoder

    这里用到了对称矩阵的特征值分解。V是正交矩阵。

    对有两个变量的问题求解,首先固定V,求解beta.

    非常巧,这里的结果和pca的结论是一样的。因为它们本质上都是找到一个变换使得数据保持最多的信息(也就是方差最大,同时也等价于残差最小)

    标准的PCA首先需要对数据去均值,后续对其他x的变换也需要先减去均值。

  • 相关阅读:
    sql random string
    ubuntu 16.04中文输入法安装
    ubuntu修改docker源
    osm3ge
    ubuntu配置环境变量 sudo gedit /etc/profile
    斐波那契数列中获取第n个数据值
    为什么redis使用单线程还能这么快?
    Redis使用规范
    redis性能提升之pipeline
    centos7 用yum安装java8
  • 原文地址:https://www.cnblogs.com/akanecode/p/7058680.html
Copyright © 2011-2022 走看看