zoukankan      html  css  js  c++  java
  • 自监督学习加速GAN训练-GAN实现开放集推理-开放集推理实现并行可持续学习

    要点

    自监督学习加速GAN训练

    GAN实现开放集推理

    开放集推理实现并行可持续学习

    1. 自监督学习训练对观测视角、环境光照等干扰项不敏感的编码器,实现鲁棒的信息压缩;
      多个传感器之间构成观测维度的关联性;(如听觉和视觉之间的关联,通感)
      同一传感器采集到不同方位的信息构成了空间的关联性;(如双目之间的关联,视差)
      同一传感器不同时刻采集的信息构成了时间的关联性;(如光流、目标跟踪)

    2. GAN在经过自监督学习鲁棒压缩后的低维稠密潜空间进行对抗学习,可以更快得到判别和生成器;
      GAN的输入和输出维度将大幅降低,且低维空间中的流形因为是稠密的,因此约束更宽松,更易于训练;
      GAN由于自监督的跨域信息关联,能生成和辨别更真实的样本;

    3. 开放集上的推理依赖于对输入样本的域感知能力,而这可以依赖GAN的判别器实现;
      GAN不仅能生成样本,还能对样本进行域判别,计算样本分布与域分布的距离下限;
      GAN的判别器响应最大的域为目标域,这样就实现了对开放集上的任意样本的推理;

    4. 可持续学习依赖对过往学习样本分布的记忆,而开放集上的推理恰好实现了这一点;
      任意多个域上的判别器都能实现开放集推理(Open Set Inference),等价于一个综合的域上的判别器能进行开放集推理;
      因此OSI能对任意多个域进行合并而不产生冲突,也意味着任意多个独立训练的模型可以不经修改的组合在一起,并行推理输出一个综合的结果;
      因此OSI能实现对不同时段的样本训练的模型的持续集成;
      当OSI判断新样本不在任何一个域上时,将开辟新域学习;
      当OSI发现新样本在所在域上的输出不满足预期时,将对该域上的模型进行覆盖式学习;

  • 相关阅读:
    HDU5618 Jam's problem again
    BZOJ2002弹飞绵羊
    树剖模板
    点分治模板题
    c++ 读入优化、输出优化模板
    牛客网练习赛44-B(快速幂+模拟)
    poj2912(带权并查集+枚举)
    ucore-lab1-练习3report
    poj2492(带权并查集)
    poj1984(带权并查集)
  • 原文地址:https://www.cnblogs.com/thisisajoke/p/13353032.html
Copyright © 2011-2022 走看看