深度强化学习环境配置spinningup配置

1、官网连接

英文：https://spinningup.openai.com/en/latest/

中文：https://spinningup.qiwihui.com/zh_CN/latest/index.html

2、遇到的问题

在安装mujoco之前不会遇到任何问题，安装mujoco遇到问题解决方法。具体步骤如下：1、注册获得key。2、mujoco下载。3、安装mujoco-py

2.1、问题1，mujoco的license

license网站连接：https://www.roboti.us/license.html

如果是学生邮箱的话可以申请个人版的，没有就只有30天的时间。总体流程如下：

填写名字，邮件，电脑ID，电脑ID是通过右边的系统选择，本文选择Linux，然后下载到getid_linux文件，文件操作如下：

$ chmod a+x getid_linux
$ ./getid_linux

然后出现电脑ID，将电脑ID输入后，递交。

一段时间或者一天后，就有了mjkey.txt，将给文件下载下来。

2.2、问题2，mujoco版本下载

目前我下载的版本是mjpro150 linux，先开始试了一下mujoco200 linux不可行。然后才换成了mjpro150 linux，注意版本匹配问题，下面开始下载配置mujoco。

将名字为mjpro150的文件放入.mujoco文件夹下
$ mkdir ~/.mujoco
将文件复制到.mujoco下
$ cp mjpro150_linux.zip ~/.mujoco/
进入.mujoco文件夹下，解压文件
$ unzip mjpro150_linux.zip
将mjkey.txt文件复制到.mujoco文件夹下
$ cp mjkey.txt ~/.mujoco/
将mjkey.txt文件复制到.mujoco/mjpro150/bin/下
$ cp mjkey.txt ~/.mujoco/mjpro150/bin/
$ sudo gedit ~/.bashrc
在文件中加入以下内容
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/sqp/.mujoco/mjpro150/bin
更新一下环境变量
$ source ~/.bashrc
测试一下是否安装成功
$ cd ~/.mujoco/mjpro150/bin
$ ./simulate ../model/humanoid.xml
如果正常出来一个小人，说明安装成功

2.3、问题3，mujoco-py安装

mujoco安装的时候，一定要确定版本，本文使用的mjpro150版本，所以对应的命令如下

这些都是在spinningup的conda虚拟环境下进行安装，部分参考：https://www.jianshu.com/p/869254fd3e21
$ conda activate spinningup
安装patchelf
$ sudo -s
$ curl -o /usr/local/bin/patchelf https://s3-us-west-2.amazonaws.com/openai-sci-artifacts/manual-builds/patchelf_0.9_amd64.elf
$ chmod +x /usr/local/bin/patchelf
下载mujoco-py，开始安装mujoco-py
$ git clone https://github.com/openai/mujoco-py.git
$ cd mujoco-py
$ pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'

2.4、问题4，安装gym

如果前面安装很顺利，这一步就不会有任何问题。下面就可开始你的spinningup强化学习之旅。

$ pip3 install gym[mujoco,robotics]
$ python -m spinup.run ppo --hid "[32,32]" --env Walker2d-v2 --exp_name mujocotest