zoukankan      html  css  js  c++  java
  • AntisymmetricRNN: A Dynamical System View on Recurrent Neural Networks(解析)

    原文链接:https://arxiv.org/abs/1902.09689

    发表在:ICLR 2019

     ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

    考虑下面的ODE, 

     将其离散化,假设步长为,我们有

    命题1:

    如果f的Jacobian矩阵的最大特征值实部小于0,那么ODE的解时稳定的.

     我们希望的是,不仅要稳定,而且还希望系统不要稳定的收敛速度太快。理想的情况就是,

    这可以认为是系统的临界状态,稳态和非稳态的切换的点。

    对上面的第一个式子两边对初值h(0)做微分,我们有

    ,我们有,

     如果临界状态满足,那么A(t)就近似保持长值。

    前方重点。。。

    这里引出反对称矩阵,M, i.e.,

    需要指出的是,反对称矩阵的特征值实部0

    考虑下面的ODE,

    反对称,并且Jocobian矩阵为,

    并且可以证明它的特征值实部为0.

    离散化后,得到,

    PS:只有n(n-1)/2的自由度,参数少了一半。

    我们需要注意的是,离散化之后的,特征值的模长并非是小于1的,i.e., 不满足

    所以我们在tanh里面加一个平移项,

    核心就到这里了,其它的就是变形,和simulations了。

  • 相关阅读:
    3D照片放大展示窗口
    [NOI2015]品酒大会
    [SDOI2016]排列计数
    [SCOI2008]奖励关
    HDU4336 Card Collector
    CF540D Bad Luck Island
    [NOI2016]网格
    HDU3076 ssworld VS DDD
    [USACO10HOL]赶小猪
    CF113D Museum
  • 原文地址:https://www.cnblogs.com/skykill/p/11229399.html
Copyright © 2011-2022 走看看