什么是PPO
- 是一种off-policy 的 policy gradient。
- PPO enables multiple epochs of minibatch updates.
Importance Sampling
- 可以在q的distribution里sample data,不用直接从p里sample data。
- 但是得乘上一个weight,这个weight就是\(\frac{p(x)}{q(x)}\)
- Issue:
- Mean一样但是Variance不一定是一样的。
- 当\(\frac{p(x)}{q(x)}\)比较大的时候,两个的方差会差很多。
- 如果sample的次数不够多,那么Mean和Variance可能都会差很多。
On-policy to Off-policy
- 上面是On-policy,下面是Off-policy。
- 主要是要用红框里的weight去做修正。
- trajectory分别在两个distribution中出现的概率。
- Gradient for Update:
- 实际上得到的A,应该是\(\theta'\)的,因为在\(\theta'\)中sample。
- \(\frac{p_{\theta}(s_t)}{p_{\theta'}(s_t)}\):很难算,而且两个应该要比较近似,所以删去这一项。
- 利用上面那个式子可以得到似然函数。HOW?
Add Constraint
- 避免两个distribution差太多,加constraint。
- K-L Divergence: KL散度,量化两种概率分布之间差异的方式。
- \(D_{KL}(p||q)=\sum_{i=1}^Np(x_i)\cdot log \frac{p(x_i)}{q(x_i)}\)
TRPO and PPO
- TRPO是PPO的前身。
- 用KL divergence作为一个penalty,而不是像TRPO那样用constraint,希望减小KL散度,希望学出来的两个不要太不一样。
- TRPO和PPO只是KL散度放的地方不一样。
- TRPO和PPO可能效果差不多,但是PPO在实操的时候更加容易。
- 这里KL散度不是参数上的举例,而是behavior上的距离。
- 给同个state的时候,output action distribution的差距。
PPO Algorithm
PPO1算法
- Adaptive KL Penalty Coefficient:KL Penalty是可以动态调整的,你自己先设置一个你能接受的KL最小值和最大值。
- KL大于最大值,就增加β。
- KL小于最小值,就减小β。
PPO2算法
- PPO1使用KL散度,PPO2就不用KL散度了。
- Clip:
Pseudo Code
Reference
- 李宏毅的2021春机器学习课程视频
- Proximal Policy Optimization Algorithms:http://arxiv.org/abs/1707.06347