多巴胺：谷歌开源新型增强学习框架

https://mp.weixin.qq.com/s/KRyr0y84k6vkezuuM408lw

 

Google 近日宣布开源一个新的基于 Tensorflow 的框架 —— Dopamine，旨在为新手和资深 RL（强化学习）研究人员提供灵活性、稳定性和可重复性。该框架受大脑中的奖励动机行为启发，反映了神经科学与强化学习研究之间的强历史联系，旨在实现可以推动激进发现的投机性研究。

Dopamine 的功能亮点

易用性

• 清晰性和简洁性是该框架设计中的两个关键考虑因素。Google 提供的代码非常紧凑（约 15 个 Python 文件）且文档完善，Google 希望这种简单性能使研究人员更轻松地理解代理的内部运作并快速尝试新的想法。

复用性

• Google 非常看重可复用性在强化学习研究中的重要性。为此，他们为代码提供完整的测试覆盖率;，并遵循 Machado 等学者给出的建议，使用街机学习环境（Arcade Learning Environment）标准化经验评估。

基准测试

• 对于新的研究人员而言，能够根据已有方法快速对自己的想法进行基准测试是非常重要的。因此，Google 提供四个 agent 的完整训练数据，包括Arcade Learning Environment 支持的 60 个游戏，格式为 Python pickle 文件（对于使用谷歌框架训练的智能体）和 JSON 数据文件（用于对比其他框架训练的智能体）。Google 还额外提供一个网站，可在上面快速查看所有 60 款游戏的 agent 可视化训练运行情况。

 

更多细节根据相关链接进行查阅。

相关链接

• Dopamine 的详细介绍

  https://ai.googleblog.com/2018/08/introducing-new-framework-for-flexible.html

• Dopamine 的Github 地址

  https://github.com/google/dopamine