zoukankan      html  css  js  c++  java
  • PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记

    PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 2017 

    2017.03.12 

    Code and video examples can be found at: https://coxlab.github.io/prednet/

    摘要:基于监督训练的深度学习技术取得了非常大的成功,但是无监督问题仍然是一个未能解决的一大难题(从未标注的数据中学习到一个领域的结构)。本文探索了无监督学习中关于 video prediction 的问题。设计了一种 “PredNet”结构,实现了该项工程,并且得到了非常喜人的实验结果。实验结果表明:预测代表了一种非常强大的无监督学习框架,可以潜在的学习到物体或者场景结构。 

    网络设计:

      

      如上图所示的流程,是有一系列的模块堆叠在一起产生的。该网络首先进行局部预测,然后减去真实的输入,传到下一层。

      简单的说,每个模块可以分为 4 个部分:

      1. 一个输入卷积层 $A_l$ 

      2. 循环表示层 $R_l$

      3. 预测层 $hat{A}_l $

      4. 误差表示层 $E_l$

       $R_l$ 是一个循环卷积网络产生一个预测 A^l,layer的输入是 Al。网络计算 Al 和 A^l 的不同,然后输出一个误差表示 El, 分为单独修正的 positive 和 negative error 传递。将该误差 El 传递给卷积层,作为下一层的输入 $A_{l+1}$。$R_l$ 模块有两个输入,分别来自于:直接拷贝过来的 El,以及 下一层 $R_{l+1}$ 的输入。

      这个网络可以分为两个最重要的部分来看,左边 Rl 部分是循环产生式反卷积网络;右边 Al 和 El 是标准的深度卷积网络。

      该模型训练的目标是:minimize the weighted sum of the firing rates of the error units. 此处的 error units 类似于 L1 error. 虽然此处没有尝试,但也可以尝试其他的 loss function。

      

      总的算法框架如下:

      

      


      实验部分:

      

     

  • 相关阅读:
    【代码笔记】Web-CSS-CSS伪类
    「MoreThanJava」Day 4:面向对象基础
    96年/离职8个月/拒绝华为offer/目前自由职业-记这大半年来的挣扎与迷茫
    nginx配置path_info,让codeigniter访问其它路由不是404
    Golang 与 JS 的字符串截取大同小异
    [Py] Python 的 shape、reshape 含义与用法
    微信公众号分享接口报错 "errMsg": "config:invalid url domain"
    vi以及vim打开文件中文乱码
    常见的移动端H5页面开发遇到的坑和解决办法
    CSS3 Transform 属性详解
  • 原文地址:https://www.cnblogs.com/wangxiaocvpr/p/6539009.html
Copyright © 2011-2022 走看看