推荐博客:https://www.linuxidc.com/Linux/2017-11/148629.htm
https://blog.csdn.net/yggaoeecs/article/details/79163789
此教程主要借鉴自:
GPU版:http://www.linuxidc.com/Linux/2016-12/138870.htm
CPU版:http://www.linuxidc.com/Linux/2016-09/135034.htm
1 电脑配置及软件说明
1) Ubuntu 16.04 x64系统,GPU:Quadro M4000(提示:在linux下可以通过命令lspic | grep –i vga 查看)
2) Caffe:Convolutional Architecture for Fast FeatureEmbedding
3) NVIDIA显卡驱动(不同的GPU对应不同的版本)
4) CUDA 9.0
5) cuDNN v7.0.5 for CUDA 9.0
6) OpenCV 3.2.0
2 安装NVIDIA GPU驱动
2.1 查询GPU驱动
首先去NVIDIA官网http://www.nvidia.com/Download/index.aspx?lang=en-us查看适合自己显卡的驱动并下载。如下图1,图2所示。
图1. 填写GPU和系统信息
图2. 搜索结果
本文中显卡型号是Quadro M4000,系统linux 64-bit,按照要求点击serach出现图2所示搜索结果,点击下载。本文中下载的驱动文件是:NVIDIA-Linux-x86_64-384.111.run。
注意:我们要把这个文件放到英文目录(e.g. /home)下,原因是下面我们要切换到文字界面下,如果放到中文目录下,我们没有办法进入这个目录(没有中文输入法,且中文全部是乱码)。
2.2 安装GPU驱动
2.2.1 屏蔽自带显卡驱动
1) 在终端下输入: sudo gedit /etc/modprobe.d/blacklist.conf
2) 输入密码收在最后一行加上:blacklist nouveau. 这里是将Ubuntu自带的显卡驱动加入黑名单
3) 在终端输入:sudo update-initramfs –u,使修改生效
4) 重启电脑
2.2.2 安装新驱动
1) 启动电脑后,按Ctrl+Alt+F1~F6进入命令行界面(安装GPU驱动要求在命令行环境),输入用户名和密码进入用户目录
2) 输入命令:sudo service lightdm stop
3) 进入驱动所在的文件夹,sudo chmod +x ./NVIDIA-Linux-x86_64-384.111.run,修改权限。然后:sudo ./NVIDIA-Linux-x86_64-384.111.run,进入安装程序
4) 完成安装后,重启电脑
5) 重启电脑后,输入以下指令进行验证:sudo nvidia-smi,若列出了GPU的信息列表则表示驱动安装成功。如下图3所示。
图3. GPU信息列表
3 安装CUDA
CUDA是NVIDIA的编程语言平台,想使用GPU就必须要使用cuda。
(1) 下载CUDA
首先在官网上https://developer.nvidia.com/cuda-downloads下载CUDA。下载CUDA时一定要注意CUDA和NVIDIA显卡驱动的适配性。现在的情况是:CUDA_8.0支持375.**及以上系列的显卡驱动;CUDA_9.0支持384.**及以上系列的显卡驱动;CUDA_9.1支持389.**及以上系列的显卡驱动。本文中的显卡驱动为384.111系列,所以不能下载最新版本的CUDA_9.1,最后下载的是cuda_9.0.176_384.81_linux.run(当然,CUDA_8.0也是没问题的)。下载界面如下图4所示。
图4. CUDA_9.0下载界面
(2) 运行安装程序
执行以下命令:
sudo chmod 777 cuda_9.0.176_384.81_linux.run
sudo ./cuda_9.0.176_384.81_linux.run
注意:执行后会有一系列提示让你确认,但是注意,有个让你选择是否安装nvidia384驱动时,一定要选择否:Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 384.**?
因为前面我们已经安装了更加新的nvidia384,所以这里不要选择安装。其余的都直接默认或者选择是即可。
(3) 环境变量设置
打开~/.bashrc文件:sudo gedit ~/.bashrc
将以下内容写入到~/.bashrc尾部:
exportPATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
exportLD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
(4) 测试CUDA是否安装成功
执行以下命令:
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery
如果显示一些关于GPU的信息,则说明安装成功。如下图5所示。
图5. CUDA测试信息
4 配置cuDNN
cuDNN是GPU加速计算深层神经网络的库。
(1) 首先去官网 https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN,需要注册一个账号才能下载。下载cuDNN时也一定要注意与CUDA版本的适配性,此信息官网中已经给的很清楚。下载界面如下图6所示。
图6. cuDNN下载界面
(2) 下载cuDNN后进行解压:sudo tar -zxvf ./cudnn-9.0-linux-x64-v7.tgz
(3) 进入解压后的文件夹下的include目录,在命令行进行如下操作:
cd cuda/include
sudo cp cudnn.h/usr/local/cuda/include #复制头文件到cuda头文件目录
(4) 进入lib64目录下,对动态文件进行复制和软链接
cd ..
cd lib64
sudo cp lib*/usr/local/cuda/lib64/ #复制动态链接库
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.solibcudnn.so.7 #删除原有动态文件
sudo ln -s libcudnn.so.7.0.5libcudnn.so.7 #生成软衔接
sudo ln -s libcudnn.so.7libcudnn.so #生成软链接
5 安装OpenCV3.2
详细的安装请参考:http://www.linuxidc.com/Linux/2017-07/145446.htm
(1) 从官网(http://opencv.org/downloads.html)下载Opencv,并将其解压到你要安装的位置,假设解压到了/home/opencv。
unzip opencv-3.2.0.zip
sudo cp ./opencv-3.2.0 /home/username
sudo mv opencv-3.2.0 opencv
(2) 安装前准备,创建编译文件夹
cd ~/opencv
mkdir build
cd build
(3) 配置
sudo apt install cmake
sudo cmake -D CMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local ..
(4) 编译
sudo make -j8 (-j8表示并行计算,根据自己电脑的配置进行设置,配置比较低的电脑可以将数字改小或不使用,直接输make)
(5) 安装
以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:
sudo make install
6 配置Caffe
(1) 安装相关依赖
sudoapt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-devlibhdf5-serial-dev protobuf-compiler
sudoapt-get install --no-install-recommends libboost-all-dev
sudoapt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudoapt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
上面有些命令是不对嘚用下面嘚:参考博客:https://www.cnblogs.com/go-better/p/7161006.html
1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
2 sudo apt-get install --no-install-recommends libboost-all-dev
3 sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
4 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
(2) 下载Caffe
使用Git直接下载Caffe非常简单,或者去https://github.com/BVLC/caffe下载。
下载完成后,会在家目录下的下载里找到caffe-master.zip,用unzip命令解压到家目录下,然后重命名为caffe。
(3) 修改Makefile.config
因为make指令只能make Makefile.config文件,而Makefile.config.example是caffe给出的makefile例子。因此,首先将Makefile.config.example的内容复制到Makefile.config:
sudo cpMakefile.config.example Makefile.config
打开并修改配置文件:
sudogedit Makefile.config #打开Makefile.config文件 根据个人情况修改文件:
a. 若使用cudnn,则将
#USE_CUDNN:= 1
修改成:
USE_CUDNN:= 1
b. 若使用的opencv版本是3的,则将
#OPENCV_VERSION:= 3
修改为:
OPENCV_VERSION:= 3
c. 若要使用python来编写layer,则将
#WITH_PYTHON_LAYER:= 1
修改为WITH_PYTHON_LAYER := 1
d. 重要的一项,将
#Whatever else you find you need goes here. 下面的
INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为:
INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/usr/lib/x86_64-linux-gnu/hdf5/serial
这是因为Ubuntu16.04的文件包含位置发生了变化,尤其是需要用到的hdf5的位置,所以需要更改这一路径。
(4) 修改Makefile文件
打开Makefile文件,做如下修改,将:
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC$(COMMON_FLAGS)
替换为:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX)-Xcompiler -fPIC $(COMMON_FLAGS)
(5) 编辑/usr/local/cuda/include/host_config.h
将其中的第115行注释掉,将
#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!
改为:
//#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!
(6) 编译
make all -j8 #-j根据自己电脑配置决定
如果出现错误:
Unsupported gpu architecture 'compute_20'
CUDA_ARCH := #-gencode arch=compute_20,code=sm_20
#-gencode arch=compute_20,code=sm_21
-gencode arch=compute_30,code=sm_30
-gencode arch=compute_35,code=sm_35
-gencode arch=compute_50,code=sm_50
-gencode arch=compute_52,code=sm_52
-gencode arch=compute_60,code=sm_60
-gencode arch=compute_61,code=sm_61
-gencode arch=compute_61,code=compute_61
不支持compute_20 即把compute_20 所在行注释掉,然后make clean,重新make
如果出现 错误 1(make: Nothing to be done for 'pycaffe'.)解决方法
$ sudo make clean
之后运行
$ sudo make pycaffe
如果出现 错误 2fatal error: numpy/arrayobject.h没有那个文件或目录
其实numpy已经是安装的,anaconda2里面有,python中import numpy也没有问题,但就是在此处报错,解决方法:
sudo apt-get install python-numpy
然后
sudo make pycaffe -j16
pycaffe就编译成功了
(7) 测试
sudo make runtest
如果运行之后出现下图7所示,说明caffe配置成功。
如果出现下面错位:make: .build_release/tools/caffe:命令未找到
参考博客:https://stackoverflow.com/questions/43515617/caffe-error-while-loading-shared-libraries-libcudnn-so-5-cannot-open-shared-o
https://blog.csdn.net/yunyi4367/article/details/78070928?locationNum=4&fps=1
解决办法是使用命令打开环境变量sudo gedit ~/.bashrc后面添加参考博客一嘚第一句话 1. export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH
图7. Caffe测试成功运行结果
7 MNIST数据集测试
配置caffe完成后,我们可以利用MNIST数据集对caffe进行测试,过程如下:
1.将终端定位到Caffe根目录
cd ~/caffe
2.下载MNIST数据库并解压缩
./data/mnist/get_mnist.sh
3.将其转换成Lmdb数据库格式
./examples/mnist/create_mnist.sh
4.训练网络
./examples/mnist/train_lenet.sh
训练的时候可以看到损失与精度数值,如下图8所示:
下面这个博客也不错嘚!
https://www.cnblogs.com/go-better/p/7161006.html
Ubuntu16.04 14.04安装配置Caffe(GPU版)
caffe配置过程很长啊,坑非常多,没有linux基础的估计会香菇的。我参考了网上很多的帖子,基本上每个帖子都有或多或少的问题,研究很久最终配置成功。参考过的帖子太多,都记不太清来源了。为了对前人的感谢,特地写下我的配置过程,以供大家参考。可能我写的时候会有遗漏,还望多多包涵,共同探讨!
1. 安装相关依赖项
1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
2 sudo apt-get install --no-install-recommends libboost-all-dev
3 sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
4 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
2.安装NVIDIA驱动
(1) 查询NVIDIA驱动
首先去官网 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看适合自己显卡的驱动(这里不要下载,用下载的驱动安装可能会出现循环登陆问题)
点击右边的search进入下载页面
可以看到我的显卡支持375
(2)安装驱动
在终端下输入:
sudo apt-get purge nvidia-* //这是卸载以前的nvidia驱动
sudo add-apt-repository pa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-375
reboot //重启
完成后,电脑重启。
安装完成之后输入以下指令进行验证:
sudo nvidia-smi
若列出了GPU的信息列表则表示驱动安装成功。如下图:
3.安装CUDA
(1)下载CUDA
首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA:
(2)下载完成后执行以下命令(我用的是cuda7.5):
1 sudo chmod 777 cuda_7.5.44_linux.run
2 sudo ./cuda_7.5.44_linux.run
注意:执行后会有一系列提示让你确认,但是注意,有个让你选择是否安装nvidia367驱动时,一定要选择否:
Install NVIDIA Accelerated Graphics Driver for
Linux-x86_64 367.48?
因为前面我们已经安装了更加新的nvidia367,所以这里不要选择安装。其余的都直接默认或者选择是即可。
(3)环境变量配置
打开~/.bashrc文件:
sudo gedit ~/.bashrc
将以下内容写入到~/.bashrc尾部:
export PATH=/usr/local/cuda-7.5/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-7.5/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
在/etc/profile文件中添加CUDA环境变量:
sudo gedit /etc/profile
打开文档都在文档结尾加上下面两句:
1 PATH=/usr/local/cuda/bin:$PATH
2 export PATH
保存后, 执行下列命令, 使环境变量立即生效:
source /etc/profile
同时添加lib库路径,在 /etc/ld.so.conf.d/新建文件 cuda.conf
sudo gedit /etc/ld.so.conf.d/cuda.conf
在文中加入下面内容:
/usr/local/cuda/lib64
执行下列命令使之立刻生效:
sudo ldconfig
(4)测试CUDA的samples
1 cd /usr/local/cuda-7.5/samples/1_Utilities/deviceQuery
2 make
3 sudo ./deviceQuery
如果显示一些关于GPU的信息,则说明安装成功。
nvcc –V 命令可查看版本
4.配置cuDNN(感觉我的有问题,我暂时没用这个,另外这个单独写了个教程)
cuDNN是GPU加速计算深层神经网络的库。
首先去官网 https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN,需要注册一个账号才能下载。
我直接在网上下的cuda7.5的cudnn-7.5-linux-x64-v5.0.tgz
进行解压:
sudo tar -zxvf ./cudnn-7.5-linux-x64-v5.0.tgz
进入cuDNN5.0解压之后的include目录,在命令行进行如下操作:
1 cd cuda/include
2 sudo cp cudnn.h /usr/local/cuda/include #复制头文件
再将进入lib64目录下的动态文件进行复制和链接:
1 cd ..
2 cd lib64
3 sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库
4 cd /usr/local/cuda/lib64/
5 sudo chmod +r libcudnn.so.5.0.5
6 sudo ln -sf libcudnn.so.5.0.5 libcudnn.so.5
7 sudo ln -sf libcudnn.so.5 libcudnn.so
8 sudo ldconfig
5.安装opencv3.1
从官网(http://opencv.org/downloads.html)下载Linux版Opencv
并将其解压到你要安装的位置,假设解压到了/home/opencv
1 unzip opencv-3.1.0.zip
2 sudo cp ./opencv-3.1.0 /home
3 sudo mv opencv-3.1.0 opencv
安装前准备,创建编译文件夹:
1 cd ~/opencv
2 mkdir build
3 cd build
配置:
1 sudo apt install cmake
2 sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
编译:
sudo make -j8
-j8表示并行计算,根据自己电脑的配置进行设置,配置比较低的电脑可以将数字改小或不使用,直接输make。
以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:
sudo make install
测试opencv:
1 mkdir ~/opencv-test
2 cd ~/opencv-test
3 gedit DisplayImage.cpp
编辑如下代码:
1 #include <stdio.h>
2 #include <opencv2/opencv.hpp>
3 using namespace cv;
4 int main(int argc, char** argv )
5 {
6 if ( argc != 2 )
7 {
8 printf("usage: DisplayImage.out <Image_Path>
");
9 return -1;
10 }
11 Mat image;
12 image = imread( argv[1], 1 );
13 if ( !image.data )
14 {
15 printf("No image data
");
16 return -1;
17 }
18 namedWindow("Display Image", WINDOW_AUTOSIZE );
19 imshow("Display Image", image);
20 waitKey(0);
21 return 0;
22 }
创建CMake编译文件:
gedit CMakeLists.txt
写入如下内容:
cmake_minimum_required(VERSION 2.8)
project( DisplayImage )
find_package( OpenCV REQUIRED )
add_executable( DisplayImage DisplayImage.cpp )
target_link_libraries( DisplayImage ${OpenCV_LIBS} )
编译:
1 cd ~/opencv-test
2 cmake .
3 make
执行:
此时opencv-test文件夹中已经产生了可执行文件DisplayImage,随便从网上下载一张图片放在opencv-test文件夹下,此处下载了opencv.jpg,然后运行:
./DisplayImage opencv.jpg
结果是显示我下载的这张图像。
如果想用python调用opencv,安装python-opencv:
1 sudo apt-get install python-opencv
2 sudo apt-get install python-numpy
打开python,import即可。
Ps:如果用cuda8.0,可能会出现以下错误:
这是因为opecv3.0与cuda8.0不兼容导致的。解决办法:修改 ~/opencv/modules/cudalegacy/src/graphcuts.cpp文件内容,如图:
其中
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000)
是我们修改的。
6.配置caffe
(1)https://github.com/BVLC/caffe下载caffe
下载完成后,会在家目录下的下载里找到caffe-master.zip,用unzip命令解压到家目录下,然后重命名为caffe.
(2)复制Makefileconfig
sudo cp Makefile.config.example Makefile.config
(3)打开并修改配置文件:
sudo gedit Makefile.config #打开Makefile.config文件
根据个人情况修改文件:
a.若使用cudnn,则
将
#USE_CUDNN := 1
修改成:
USE_CUDNN := 1
b.若使用的opencv版本是3的,则
#OPENCV_VERSION := 3
修改为:
OPENCV_VERSION := 3
c.若要使用python来编写layer,则
#WITH_PYTHON_LAYER := 1
修改为
WITH_PYTHON_LAYER := 1
d.重要的一项 :
将# Whatever else you find you need goes here. 下面的
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
2 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为:
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
2 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
(4)修改makefile文件
打开makefile文件,做如下修改:(这个不知道有没有用,这一步感觉没作用)
将:
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
接下来是针对安装opencv3.0.0版本的同学而言的,对于3.0.0之前的版本不需要修改:
在位置((LIBRARIES+= glog gflags protobuf leveldb snappy lmdbboost_system hdf5_hl hdf5 m
opencv_coreopencv_highgui opencv_imgproc
opencv_imgcodecs))处添加opencv_imgcodecs
这一步非常重要,否则编译后会出现错误如下:
CXX/LD-o.build_release/tools/convert_imageset.bin
.build_release/lib/libcaffe.so:undefined reference tocv::imread(cv::String const&,int)'.build_release/lib/libcaffe.so: undefined referencetocv::imencode(cv::String const&, cv::_InputArray const&,std::vector >&, std::vector > const&)'
原因就是opencv3.0.0把imread相关函数放到imgcodecs.lib中了,而非原来的imgproc.lib。
(If you input "make all",the problem is the same again.But if you delete all the file in build(rm -rf ./build/*) before "make all"(I use make clean ),you will success.I just success)
(5)编辑/usr/local/cuda/include/host_config.h(不知道有没有用,这一步我看到有帖子改了,但大多数没改这个)
将其中的第115行注释掉:
#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改为
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
(6)编译
make all –j8
make test –j8
make runtest –j8
7.编译pycaffe
在caffe根目录的python文件夹下,有一个requirements.txt的清单文件,上面列出了需要的依赖库,按照这个清单安装就可以了。
在安装scipy库的时候,需要fortran编译器(gfortran),如果没有这个编译器就会报错,因此,我们可以先安装一下。
首先回到caffe的根目录,然后执行安装代码:
1 cd ~/caffe
2 sudo apt-get install gfortran
3 cd ./python
4 for req in $(cat requirements.txt); do pip install $req; done
安装完成以后,再次回到caffe根目录我们可以执行:
1 cd ..
2 sudo pip install -r python/requirements.txt
就会看到,安装成功的,都会显示Requirement already satisfied, 没有安装成功的,会继续安装。
编译python接口:
make pycaffe -j8
配置环境变量,以便python调用:
sudo gedit ~/.bashrc
将export PYTHONPATH=/home/caffe/python:$PYTHONPATH
添加到文件中
source ~/.bashrc