ImportError: No module named 'Box2D'这个问题是由于缺少gym
Openai gym是一个用于开发和比较RL算法的工具包，与其他的数值计算库兼容，如tensorflow或者theano库。现在主要支持的是python语言，以后将支持其他语言。gym文档在https://gym.openai.com/docs。
安装gym：
python3
pip3 install gym[all]
python2
pip install gym[all]