zoukankan      html  css  js  c++  java
  • <强化学习> on policy VS off policy

    默认价值函数为Q(s,a),策略迭代更新为pai <—— epsilon-greedy(Q)

    policy是agent的属性,决定了agent面对某状态s时会选择哪个行为a

    value是agent的感觉,代表着agent对某个(s,a)的感觉,感觉它好感觉它不好

    强化学习迭代过程中,

    policy-evaluation是获取agent按照当前policy会产生的所有感觉,即获取Qpai    ;

    policy-improvement是根据感觉Q生成一个更好的policy

    on policy和off policy是policy_evaluation过程中区分的两种方式

    Q(s,a) <——r + lamda * Q(s',a')

    on policy是我做了这个行为a之后,后继的所有收获都以我的策略我的眼光来估定;td_target  = r + lamda * Q(s',a')    ,(s',a')产自我的policy

    off policy是我做了这个行为a之后,后继以别人的眼光别人的策略来固定;              td_target   = r + lamda*Q(s',a')     , (s',a')产自别人的policy 

  • 相关阅读:
    EL表达式 与 servlvet3.0的新规范
    回调函数
    结构体
    指针函数 和 函数指针
    BCC校验(异或和校验)
    stm32 USART串口通信
    stm32 中断
    Systick系统滴答定时器
    stm32f7 时钟
    按键连按和不连按
  • 原文地址:https://www.cnblogs.com/dynmi/p/12334734.html
Copyright © 2011-2022 走看看