前段时间，openAI 发布了 Spinning Up ,本篇博客将介绍如何在 Windows 系统中使用 Spinning Up。
什么是 Spinning Up
先来说说 Spinning Up，Spinning Up 是由 OpenAI 发布的，包含以下核心内容
-
强化学习技术的简介，包含各种算法和基本理论的直观理解；
-
一些介绍如何才能做好强化学习研究的经验；
-
重要论文的实现，按照主题进行分类；
-
各种强化学习算法的单独实现，它们都有非常完善的介绍文档；
-
最后还会有一些热身练习题。
安装
下面就来讲讲最头疼的安装问题，官方文档说是目前仅在 Linux 和 OSX 上支持Spinning Up，但 Windows 系统可能也可以使用。本篇博客将介绍如何在 Windows 上安装 Spinning Up。
1.WSL
1.以管理员身份打开 Power Shell，输入
Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux
安装完成后重启。
2.安装 Linux Distribution of Choice
打开 Microsoft Store 并选择您喜欢的 Linux 发行版
点击获取，然后安装。安装完成后，运行下好的 Linux
新安装的发行版第一次运行时，将打开一个控制台窗口，您将被要求等待一两分钟才能完成安装。
然后设置用户名和密码
设置完后就ok了。
这里顺便给出微软的文档 https://docs.microsoft.com/en-us/windows/wsl/install-win10
记得定期更新软件包目录
sudo apt update && sudo apt upgrade
2.安装 Xming
后面一路默认就好了。
3.在 WSL 中使用 Xming
打开cmd，输入 bash
键入
sudo apt-get install x11-apps
安装时间有那么点点久。。。。。。。。。。。。。。。。。。。
然后要做的操作（别一股脑的复制进去了，一行一行来，顺便看看括号里的内容）
export DISPLAY=localhost:0.0 nano ~/.bashrc #(add export DISPLAY=localhost:0.0 at the end. Ctrl+X to exit/save) 这一步懂vim的应该都知道 sudo apt-get install gnome-calculator #will get you GTK
安装的好慢。。。。。。。。。。。。。。不知道是不是我网速的原因，耐心等待吧
4.安装 miniconda
选择 for Linux 的
下载好后，打开cmd，cd 到你下载的目录，然后输入
bash 文件名.sh
后面一直按回车即可，直到出现该界面
输入yes后就等待安装完成
5.安装spinningup
bash进入linux 的terminal，然后输入
conda create -n spinningup python=3.6
创建虚拟环境
创建完毕后输入
source activate spinningup
然后输入
sudo apt-get update && sudo apt-get install libopenmpi-dev
安装OpenMPI，又是漫长的等待。。。。。。。。。。。。。。。。。。。。
安装完成后，输入
git clone https://github.com/openai/spinningup.git cd spinningup pip install -e .
（惊了，Ubuntu里没装git居然命令有效！！改天一定要去好好了解一下WSL的原理orz）
接着等上一段时间。。。。。。
到这里就安装完成了！
6.检验
安装完成后，输入
python -m spinup.run ppo --hid "[32,32]" --env LunarLander-v2 --exp_name installtest --gamma 0.999
来检查是否成功安装，大概要跑10分钟。。。。又是漫长的等待。。。。
看到这里就算成功安装了
接下来，就开始愉快的RL之旅了，后面的学习就靠看官方文档了。
总结
一段愉快的踩坑之旅，还算好，没碰上什么大问题，除了WSL不太会用之外都还行，发现Windows还有很多未发现的高端黑科技，有空得去好好研究研究微软的官方文档orz。。。希望这篇博客能帮助到大部分入坑RL的研究者们。
参考文档：
https://stackoverflow.com/questions/42605769/openai-gym-atari-on-windows/44345972#44345972