nvidia-smi可以监控gpu的使用情况,但是其输出内容较难解析,使用nvidia-smi query选项可以将想要的信息以csv文件的方式记录到文件,方便做监控或者一些分析:
参考文档:
https://nvidia.custhelp.com/app/answers/detail/a_id/3751/~/useful-nvidia-smi-queries
https://developer.download.nvidia.cn/compute/DCGM/docs/nvidia-smi-367.38.pdf
--query-gpu用于获取全局的gpu信息,可以使用选项--help-query-gpu查看帮助
--query-compute-apps用于获取每个进程的gpu使用信息,使用--help-query-compute-apps获取帮助