当部署tf serving-gpu时，出现上述的错误，有两种情况：
1.服务器中已经安装NVIDIA驱动了，只是版本比较低了，需要升级一下比较新的nvidia驱动；
2.就是服务器中没有安装NVIDIA驱动
解决方法：
在Ubuntu16.04中安装NVIDIA驱动
（
前提先卸载旧的nvidia驱动，方法：
1.卸载nvidia驱动
卸载NV驱动和安装一样，首先ctrl+Alt+F2进入命令行状态，然后停止lightdm
sudo service lightdm stop
或者
sudo /etc/init.d/lightdm stop
2.卸载命令位置/usr/bin/nvidia-uninstall，以下命令即可卸载
sudo /usr/bin/nvidia-uninstall
不找这个命令的位置，也可以
sudo apt-get install autoremove --purge nvidia*
这样就完成了卸载。
）
安装方法：
一. 去英伟达官网下载驱动程序（http://www.nvidia.cn/Download/index.aspx?lang=cn）
Linux下的显卡驱动时.run格式，如
二. 禁用nouveau第三方驱动
打开编辑配置文件： sudo gedit /etc/modprobe.d/blacklist.conf
在最后一行添加：blacklist nouveau
改好后执行命令：sudo update-initramfs -u
重启使之生效：reboot
三. 安装驱动
重启后按Ctrl+Alt+F1 进入命令行界面
执行命令：lsmod | grep nouveau
禁用X服务：sudo /etc/init.d/lightdm stop (或者：sudo service lightdm stop)
给驱动run文件赋予可执行权限：sudo chmod a+x NVIDIA-Linux-x86_64-390.25.run (下载的驱动文件名）
安装：sudo ./NVIDIA-Linux-x86_64-390.25.run -no-opengl-files
开启X服务：sudo /etc/init.d/lightdm start (或者：sudo service lightdm start)
–no-opengl-files 只安装驱动文件，不安装OpenGL文件。这个参数最重要
–no-x-check 安装驱动时不检查X服务
–no-nouveau-check 安装驱动时不检查nouveau
后面两个参数可不加。
重启，没有问题，输入命令：nvidia-smi
如果出现了驱动版本就表示安装成功了。
（多次亲测有效）