OpenAI简介
OpenAI’s mission is to ensure the safe development of AGI and the broad distribution of benefits from AI more generally. Teaching tools like Spinning Up help us make progress on both of these objectives.
环境：Ubuntu16.04.3（VM虚拟机）
1、安装Python（Anaconda）
A：安装Anconda，Anconda官方教程.Anconda安装个人笔记
B：在conda环境中配置spinning up
conda create -n spinningup python=3.6
Tip:参照pip安装笔记修改软件源，可以加快安装速度。
激活spinningup环境
source activate spinningup
2、安装OpenMPI
sudo apt-get update && sudo apt-get install libopenmpi-dev
3、安装Spinnin Up
git clone https://github.com/openai/spinningup.git cd spinningup pip install -e .
4、检查安装
python -m spinup.run ppo --hid "[32,32]" --env LunarLander-v2 --exp_name installtest --gamma 0.999
此命令用于在LunarLander-v2 中训练PPO。这个会训练大概10分钟，并且不会自己完成，会训练很久，再次期间当数据被输入，你便会看到训练的进程。
在完成训练之后，查看训练的策略。
python -m spinup.run test_policy data/installtest/installtest_s0
然后输出结果
python -m spinup.run plot data/installtest/installtest_s0
5、安装MuJoCo（可选）
A：进入github上的mujoco-py，根据安装指导完成安装；
B：获取MuJoCo licence（个人30天，学生一年）；
C：安装MuJoCo之后，安装对应的Gym环境
pip install gym[mujoco,robotics]
D：检查PPO是否可以在 Walker2d-v2环境中正常工作
python -m spinup.run ppo --hid "[32,32]" --env Walker2d-v2 --exp_name mujocotest