问题暂记：
之后看
https://blog.csdn.net/qq_23142123/article/details/80526931
https://www.zhihu.com/question/49346370
原因分析：
https://blog.csdn.net/qq_25737169/article/details/78847691
--------------------------------------------------------------
数据预处理问题，没有归一化……
如果输入的state(以DDPG为例)中有元素的值非常大,比如999这种的（我的数据里就有）
所以调参经验建议learning rate从0.001开始时针对归一化处理后的数据吗…？- -
reward最好也控制下范围。
更深层原因还没想 ，但归一化后确实没再出现nan了