1. 显示当前GPU使用情况
Nvidia自带了一个nvidia-smi的命令行工具，会显示显存使用情况：
$ nvidia-smi
输出如下:
2. 周期性输出GPU使用情况
但是有时我们希望不仅知道那一固定时刻的GPU使用情况，我们希望一直掌握其动向，此时我们就希望周期性地输出，比如每 10s 就更新显示。 这时候就需要用到 watch命令，来周期性地执行nvidia-smi命令了。
了解一下watch的功能：
作用：周期性执行某一命令，并将输出显示。
watch的基本用法是：
$ watch [options] command最常用的参数是 -n， 后面指定是每多少秒来执行一次命令。
监视显存：我们设置为每 10s 显示一次显存的情况：
$ watch -n 10 nvidia-smi
我试验的是:watch -n 1 nvidia-smi 也就是每一秒输出一次，实时观察
这样，只要开着这个命令行窗口，就可以每1秒刷新一次，是不是很方便呢？
如果我们希望来周期性地执行其他命令行操作，那么就可以简单地更换后面的nvidia-smi即可.
具体如下所示：重要的参数主要是温度、内存使用、GPU占有率，具体如下红框所示。
参考文献：https://blog.csdn.net/yao_yao_2015/article/details/53404389