zoukankan      html  css  js  c++  java
  • On First-Order Meta-Learning Algorithms

    郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布!

     arXiv: Learning, (2018)

    Abstract

      本文考虑了存在任务分布的元学习问题,并且我们希望获得一个表现良好的智能体(即快速学习),该智能体在从该分布中采样到以前没见过的任务时表现良好。我们分析了一组算法,用于学习可以在新任务上快速微调的参数初始化,仅使用一阶导数进行元学习更新。该族包括并概括了一阶MAML,它是通过忽略二阶导数获得的MAML的近似值。它还包括Reptile,这是我们在此处引入的新算法,该算法通过重复采样任务,对其进行训练并将初始化朝该任务的训练权重进行偏移。我们扩展了Finn et al.的结果,说明一阶元学习算法在一些公认的针对小样本分类的基准上表现良好,并且我们提供了旨在理解这些算法为何起作用的理论分析。

    1 Introduction

    2 Meta-Learning an Initialization

    3 Reptile

    4 Case Study: One-Dimensional Sine Wave Regression

    5 Analysis

    5.1 Leading Order Expansion of the Update

    5.2 Finding a Point Near All Solution Manifolds

    6 Experiments

    6.1 Few-Shot Classi cation

    6.2 Comparing Different Inner-Loop Gradient Combinations

    6.3 Overlap Between Inner-Loop Mini-Batches

    7 Discussion

    8 Future Work

    A Hyper-parameters

  • 相关阅读:
    Python paramik
    JavaScript和DOM
    HTML和CSS
    salt基本使用之二(2)
    nginx+php与apache+php性能对比
    varnish状态引擎2
    varnish状态引擎1
    varnish简介
    使用memcached实现tomcat集群session共享
    php安装redis扩展连接redis服务器
  • 原文地址:https://www.cnblogs.com/lucifer1997/p/13636371.html
Copyright © 2011-2022 走看看