Reinforcement Learning学习笔记|从Q-Learning到Actor Critic

Reinforcement Learning NOTE

最近，Deep Reinforcement Learning的应用和发现十分广泛，如Alpha GO。

我们将关注于学习解决增强学习的不同结构。包括Q-learning、Deep Q-Learning、Policy Gradient、Actor Critic 和 PPO。

Introduction

三个问题：

• What Reinforcement Learning is, and how rewards are the central idea
• The three approaches of Reinforcement Learning
• What the “Deep” in Deep Reinforcement Learning means

Answer:

• 增强学习的观念是：agent通过与环境交互和接受对于特定动作的奖励（或者惩罚）来从环境中学习。

• 我们的目标是最大化累计期待奖励。但是实际情况中，更早发生的奖励会更容易发生。因此我们定义奖励折扣gamma，是一个基于0-1之间的数字。

即，随着时间的流逝，奖励会以指数形式不断打折扣（减少）

• 学习的情景分类中，有带有起始状态的，和不带结束状态的。

• 我们有两种学习方法：

  • 在每一个回合结束收集奖励之后计算最大的期待未来奖励：Monte Carlo Approach。

    在Monte Carlo方法中，只会在游戏的最后计算奖励，之后会开启新的游戏。

    公式1

  • 在每一步后计算奖励：TD Learning。

    TD method的目标是一个估计，实际上，要用之后一步的目标去更新之前的估计。

    公式2

• The Exploration/Exploitation Trade-off.

  • Exploration是在寻找环境中的更多的信息
  • Exploitation是利用已知只是去最大化奖励
  • 我们的目的是最大化期望积累奖励，但是可能会进一个怪圈。

• 学习的是三种方法

  • value-based，目标是优化值函数，值函数是用来告诉我们未来最大期待奖励的，对于某一个特定的状态。
  • policy-based，这个方法就是直接给出要选择哪个动作，而不需要值函数。有两中策略：
    • 决定性的：在特定状态，每次都会返回同样的动作
    • 随机的：根据状态对应的概率来返回动作
  • model-based：NULL

• Deep RL Learning

  因为使用了深度神经网络，所以加了Deep。

Diving deeper into Reinforcement Learning with Q-Learning

Q-Learning是一个基于值的增强学习算法。内容如下：

• What Q-Learning is
• How to implement it with Numpy

Q-table是如果在特定状态下，选择最优策略的情况下，未来最大的的期待奖励的值。

为了学习Q-table，要用到Q Learning算法。

• Q-learning:Action-Value Function(也叫作Q function)输入是state和action。这个函数会返回在特定状态执行特定动作的期待奖励。

  在我们未探索环境之前，Q-table的值是随机的。当我们探索环境时，Q-table会通过不断运用Bellman等式更新，来给我们越来越好的估计值。

• Q-Learning算法过程：

  1. 初始化Q-table所有的值，一般为0

  2. 3-5重复进行，知道我们到了最大回合或者人为停止

  3. 选择一个动作。但是开始的时候选择哪一个呢，大家都是零。

     这里用到了exploration/exploitation trade-off 。即epsilon greedy strategy。

     设置一个变量epsilon，初始为1，表示不使用Q-tbale的概率，因为此时Q-table不够可信。但是随着时间推移，epsilon会不断降低。

  4. 估计：

     根据第三步的选择，我们执行动作并返回新的state和reward，通过Bellman 等式更新Q(s,a):

  

Deep Q-learning

我们不再使用Q-table，我们使用了神经网络来评估给定状态的各个action的Q值。

• What is Deep Q-Learning (DQL)?
• What are the best strategies to use with DQL?
• How to handle the temporal limitation problem
• Why we use experience replay
• What are the mathematics behind DQL
• How to implement it in Tensorflow

对于炒鸡大的环境，如果建立Q-table肯定不现实。最好的方法是建立一个神经网络会大致给出给定状态不同动作的Q值。

• The Architecture

  

  DQNN输入四个帧，他们通过神经网络输出每一个动作可能的Q值。我们需要选择向量中最大的值。开始的话表现差，但是一切都会好起来的

• 预处理部分。可以来减少运算量。

• 我们要关注时序信息，则要需要更多的信息。

• 使用卷积神经网络。

• 经验重现。

• 避免忘记之前的经验。

Policy Gradients

在Policy-based方法中，不是学习值函数来告诉我们期待奖励，我们直接学习策略函数，可以将状态和放多对应起来。

In this article you'll learn:

• What is Policy Gradient, and its advantages and disadvantages
• How to implement it in Tensorflow.

有两种方法：决定性的随机的。

• 决定性的策略是状态对应行为的那种，适用于确定性环境中。

• 随机的输出转移概率，反之。

• 大多数情况是用随机的

• 优势？

  • 收敛性更好。
  • 在高维空间中更加高效。
  • 可以学习随机策略。我们不需要使用exploration/exploitation trade off，因为有随机的情况存在。也可以摆脱感知混淆的问题。

• 劣势？

  • 收敛在局部最优而非全局最优（好吧）

• π（a|s）=P[a|s]，将其看做优化问题，我们必须寻找最好的参数来最大化J(θ)，共计两步

  

  • 使用J来衡量π的好坏
  • 用策略梯度上升的方法寻找最好的参数。

• 第一步：

  • 我们使用目标函数（策略得分函数）计算策略的期待奖励。有三个差不多效果的方法，根据环境进行选择。

    1. 在一个情节环境中，如果从s1出发，总奖励是多少？

       

    2. 在连续环境中，我们使用平均值，因为我们不能以来一个特定开始状态。

       

    3. 第三种，我们使用每一个时间步骤的平均奖励。我们想得到每一步的最大奖励。

• 第二步：梯度上升

  • 我们已经找到了评价标准，现在需要去最大化得分函数。需要梯度上升。

  • 为什么是梯度上升而不是下降？因为我们想最大化而非最小化。

  • 我们想找的最合适的theta：

  • 我们的目标是求J的梯度：

    但是偏导一个概率很难，除非是对数形式。因此，我们使用似然比例技巧：

    

    之后转换为期望形式：

    

    我们只需要计算log策略函数的偏导。我们对于策略梯度：

    

Advantage Actor Critic Method

Policy Gradient有着很大的问题，如果我们在一个Monte Carlo的序列情景中，等待序列结束来计算奖励。就算过程中有坏的action（reward）我们也会计算在其中。

因此，为了有一个最优的策略我们不得不去做大量的采样。这是一个缓慢的过程，因为需要很长时间才可以去收敛。那么如果对于Monte Carlo序列，在每一个步骤都进行更新呢。

• 我们在每一步进行更新：TD Learning。

  

  因此，我们不需要总的reward，而是我们需要去训练一个Critic模型，这个模型可以大致相当于值函数。这个值函数代替了Policy Gradient中只在回合结束的时候计算奖励的奖励函数。

• Actor Critic有着两个神经网络。

  Actor：策略函数，控制agent如何行动

  

  Critic：值函数，衡量动作的价值。

  这两个网络是并行运行的。而且，两个网络，两套参数，必须分开优化。

  

• 算法过程：

  1. 在每一个时间步骤，我们取现在的状态，将这个作为输入输入到Actor和Critic中。

  2. 策略部分输出一个策略，得到新状态和奖励。

  3. Critic计算在该状态执行该动作的值，而Actor用这个q值更新权重。

     

  4. Actor在更新完参数后，产生下一个状态，Critic利用这个状态更新它的值参数。

  

  Advantage Actor Critic

  以值为基础的方法有这高变动性的，为了解决这个问题，我们使用Advantage function而非值函数，定义如下：

  

  这个函数会告诉我们，与一般的动作相比，该动作在该状态执行下的提升有多少，即额外奖励。如果大于0，则梯度朝向该方向前进，否则反之。

  我们可以将TD error作为Advantage function的很好的估计。

  

• A2C是Advantage Actor Critic，A3C是异步，Asynchronous Advantage Actor Critic。

  A3C算法中建立多个Agent，共同运行并实时更新全局网络的权重值。

  英文原文