Ubuntu16.04安装配置Caffe教程(GPU版)

zoukankan html css js c++ java

Ubuntu16.04安装配置Caffe教程(GPU版)
推荐博客：https://www.linuxidc.com/Linux/2017-11/148629.htm
https://blog.csdn.net/yggaoeecs/article/details/79163789

此教程主要借鉴自：

GPU版：http://www.linuxidc.com/Linux/2016-12/138870.htm

CPU版：http://www.linuxidc.com/Linux/2016-09/135034.htm

1   电脑配置及软件说明

1)     Ubuntu 16.04 x64系统，GPU：Quadro M4000（提示：在linux下可以通过命令lspic | grep –i vga 查看）

2)     Caffe：Convolutional Architecture for Fast FeatureEmbedding

3)     NVIDIA显卡驱动（不同的GPU对应不同的版本）

4)     CUDA 9.0

5)     cuDNN v7.0.5 for CUDA 9.0

6)     OpenCV 3.2.0

2          安装NVIDIA GPU驱动
2.1         查询GPU驱动

首先去NVIDIA官网http://www.nvidia.com/Download/index.aspx?lang=en-us查看适合自己显卡的驱动并下载。如下图1，图2所示。

图1. 填写GPU和系统信息

图2. 搜索结果

       本文中显卡型号是Quadro M4000，系统linux 64-bit，按照要求点击serach出现图2所示搜索结果，点击下载。本文中下载的驱动文件是：NVIDIA-Linux-x86_64-384.111.run。

注意：我们要把这个文件放到英文目录（e.g. /home）下，原因是下面我们要切换到文字界面下，如果放到中文目录下，我们没有办法进入这个目录（没有中文输入法，且中文全部是乱码）。
2.2         安装GPU驱动
2.2.1         屏蔽自带显卡驱动

1）在终端下输入： sudo gedit /etc/modprobe.d/blacklist.conf

2）输入密码收在最后一行加上：blacklist nouveau. 这里是将Ubuntu自带的显卡驱动加入黑名单

3）在终端输入：sudo update-initramfs –u，使修改生效

4）重启电脑
2.2.2         安装新驱动

1）启动电脑后，按Ctrl+Alt+F1~F6进入命令行界面（安装GPU驱动要求在命令行环境），输入用户名和密码进入用户目录

2）输入命令：sudo service lightdm stop

3）进入驱动所在的文件夹，sudo chmod +x ./NVIDIA-Linux-x86_64-384.111.run，修改权限。然后：sudo ./NVIDIA-Linux-x86_64-384.111.run，进入安装程序

4）完成安装后，重启电脑

5）重启电脑后，输入以下指令进行验证：sudo nvidia-smi，若列出了GPU的信息列表则表示驱动安装成功。如下图3所示。

图3. GPU信息列表
3          安装CUDA

CUDA是NVIDIA的编程语言平台，想使用GPU就必须要使用cuda。

(1)   下载CUDA

首先在官网上https://developer.nvidia.com/cuda-downloads下载CUDA。下载CUDA时一定要注意CUDA和NVIDIA显卡驱动的适配性。现在的情况是：CUDA_8.0支持375.**及以上系列的显卡驱动；CUDA_9.0支持384.**及以上系列的显卡驱动；CUDA_9.1支持389.**及以上系列的显卡驱动。本文中的显卡驱动为384.111系列，所以不能下载最新版本的CUDA_9.1，最后下载的是cuda_9.0.176_384.81_linux.run（当然，CUDA_8.0也是没问题的）。下载界面如下图4所示。

图4. CUDA_9.0下载界面

(2)   运行安装程序

执行以下命令：

sudo chmod 777 cuda_9.0.176_384.81_linux.run

sudo ./cuda_9.0.176_384.81_linux.run

注意：执行后会有一系列提示让你确认，但是注意，有个让你选择是否安装nvidia384驱动时，一定要选择否：Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 384.**?

因为前面我们已经安装了更加新的nvidia384，所以这里不要选择安装。其余的都直接默认或者选择是即可。

(3)   环境变量设置

打开~/.bashrc文件：sudo gedit ~/.bashrc

将以下内容写入到~/.bashrc尾部：

exportPATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}

exportLD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

(4)    测试CUDA是否安装成功

执行以下命令：

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery

sudo make

sudo ./deviceQuery

如果显示一些关于GPU的信息，则说明安装成功。如下图5所示。

图5. CUDA测试信息
4          配置cuDNN

cuDNN是GPU加速计算深层神经网络的库。

(1)   首先去官网 https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN，需要注册一个账号才能下载。下载cuDNN时也一定要注意与CUDA版本的适配性，此信息官网中已经给的很清楚。下载界面如下图6所示。

图6. cuDNN下载界面

(2)   下载cuDNN后进行解压：sudo tar -zxvf ./cudnn-9.0-linux-x64-v7.tgz

(3)   进入解压后的文件夹下的include目录，在命令行进行如下操作：

cd cuda/include

sudo cp cudnn.h/usr/local/cuda/include #复制头文件到cuda头文件目录

(4)   进入lib64目录下，对动态文件进行复制和软链接

cd ..

cd lib64

sudo cp lib*/usr/local/cuda/lib64/    #复制动态链接库

cd /usr/local/cuda/lib64/

sudo rm -rf libcudnn.solibcudnn.so.7    #删除原有动态文件

sudo ln -s libcudnn.so.7.0.5libcudnn.so.7 #生成软衔接

sudo ln -s libcudnn.so.7libcudnn.so      #生成软链接
5          安装OpenCV3.2

详细的安装请参考：http://www.linuxidc.com/Linux/2017-07/145446.htm

(1)   从官网(http://opencv.org/downloads.html)下载Opencv,并将其解压到你要安装的位置，假设解压到了/home/opencv。

unzip opencv-3.2.0.zip

sudo cp ./opencv-3.2.0 /home/username

sudo mv opencv-3.2.0 opencv

(2)   安装前准备，创建编译文件夹

cd ~/opencv

mkdir build

cd build

(3)   配置

sudo apt install cmake

sudo cmake -D CMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local ..

(4)   编译

sudo make -j8 (-j8表示并行计算，根据自己电脑的配置进行设置，配置比较低的电脑可以将数字改小或不使用，直接输make)

(5)   安装

以上只是将opencv编译成功，还没将opencv安装，需要运行下面指令进行安装：

sudo make install
6          配置Caffe

(1)   安装相关依赖

sudoapt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-devlibhdf5-serial-dev protobuf-compiler

sudoapt-get install --no-install-recommends libboost-all-dev

sudoapt-get install libopenblas-dev liblapack-dev libatlas-base-dev

sudoapt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

上面有些命令是不对嘚用下面嘚：参考博客：https://www.cnblogs.com/go-better/p/7161006.html
```
1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
2 sudo apt-get install --no-install-recommends libboost-all-dev
3 sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
4 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
```
(2)   下载Caffe

使用Git直接下载Caffe非常简单，或者去https://github.com/BVLC/caffe下载。

下载完成后，会在家目录下的下载里找到caffe-master.zip，用unzip命令解压到家目录下，然后重命名为caffe。

(3)   修改Makefile.config

因为make指令只能make Makefile.config文件，而Makefile.config.example是caffe给出的makefile例子。因此，首先将Makefile.config.example的内容复制到Makefile.config：

sudo cpMakefile.config.example Makefile.config

打开并修改配置文件：

sudogedit Makefile.config #打开Makefile.config文件根据个人情况修改文件：

a.      若使用cudnn，则将

#USE_CUDNN:= 1

修改成：

USE_CUDNN:= 1

b.      若使用的opencv版本是3的，则将

#OPENCV_VERSION:= 3

修改为：

OPENCV_VERSION:= 3

c.      若要使用python来编写layer，则将

#WITH_PYTHON_LAYER:= 1

修改为WITH_PYTHON_LAYER := 1

d.      重要的一项，将

#Whatever else you find you need goes here. 下面的

INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib

修改为：

INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/usr/lib/x86_64-linux-gnu/hdf5/serial

这是因为Ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径。

(4)   修改Makefile文件

打开Makefile文件，做如下修改，将：

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC$(COMMON_FLAGS)

替换为：

NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX)-Xcompiler -fPIC $(COMMON_FLAGS)

(5)   编辑/usr/local/cuda/include/host_config.h

将其中的第115行注释掉，将

#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!

改为：

//#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!

(6)   编译

make all -j8 #-j根据自己电脑配置决定

如果出现错误：

Unsupported gpu architecture 'compute_20'

    CUDA_ARCH := #-gencode arch=compute_20,code=sm_20
    #-gencode arch=compute_20,code=sm_21
    -gencode arch=compute_30,code=sm_30
    -gencode arch=compute_35,code=sm_35
    -gencode arch=compute_50,code=sm_50
    -gencode arch=compute_52,code=sm_52
    -gencode arch=compute_60,code=sm_60
    -gencode arch=compute_61,code=sm_61
    -gencode arch=compute_61,code=compute_61

不支持compute_20 即把compute_20 所在行注释掉，然后make clean，重新make

如果出现错误 1（make: Nothing to be done for 'pycaffe'.）解决方法

$ sudo make clean

之后运行

$ sudo make pycaffe

如果出现错误 2fatal error: numpy/arrayobject.h没有那个文件或目录

其实numpy已经是安装的，anaconda2里面有，python中import numpy也没有问题，但就是在此处报错，解决方法：
sudo apt-get install python-numpy

然后

sudo make pycaffe -j16

pycaffe就编译成功了

(7)   测试

sudo make runtest

如果运行之后出现下图7所示，说明caffe配置成功。

如果出现下面错位：make: .build_release/tools/caffe：命令未找到

参考博客：https://stackoverflow.com/questions/43515617/caffe-error-while-loading-shared-libraries-libcudnn-so-5-cannot-open-shared-o

https://blog.csdn.net/yunyi4367/article/details/78070928?locationNum=4&fps=1

解决办法是使用命令打开环境变量sudo gedit ~/.bashrc后面添加参考博客一嘚第一句话 1. export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH

图7. Caffe测试成功运行结果

7          MNIST数据集测试

配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下：

1.将终端定位到Caffe根目录

cd ~/caffe

2.下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh

3.将其转换成Lmdb数据库格式

./examples/mnist/create_mnist.sh

4.训练网络

./examples/mnist/train_lenet.sh

训练的时候可以看到损失与精度数值，如下图8所示：

下面这个博客也不错嘚！

https://www.cnblogs.com/go-better/p/7161006.html

Ubuntu16.04 14.04安装配置Caffe(GPU版)

caffe配置过程很长啊，坑非常多，没有linux基础的估计会香菇的。我参考了网上很多的帖子，基本上每个帖子都有或多或少的问题，研究很久最终配置成功。参考过的帖子太多，都记不太清来源了。为了对前人的感谢，特地写下我的配置过程，以供大家参考。可能我写的时候会有遗漏，还望多多包涵，共同探讨！

1. 安装相关依赖项
1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 2 sudo apt-get install --no-install-recommends libboost-all-dev 3 sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev 4 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
2.安装NVIDIA驱动

(1) 查询NVIDIA驱动

首先去官网 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看适合自己显卡的驱动（这里不要下载，用下载的驱动安装可能会出现循环登陆问题）

点击右边的search进入下载页面

可以看到我的显卡支持375

（2）安装驱动

在终端下输入：
sudo apt-get purge nvidia-* //这是卸载以前的nvidia驱动 sudo add-apt-repository pa:graphics-drivers/ppa sudo apt-get update sudo apt-get install nvidia-375 reboot //重启
完成后，电脑重启。

安装完成之后输入以下指令进行验证：
sudo nvidia-smi
若列出了GPU的信息列表则表示驱动安装成功。如下图：

3.安装CUDA

（1）下载CUDA

首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA：

（2）下载完成后执行以下命令（我用的是cuda7.5）：
1 sudo chmod 777 cuda_7.5.44_linux.run 2 sudo ./cuda_7.5.44_linux.run
注意：执行后会有一系列提示让你确认，但是注意，有个让你选择是否安装nvidia367驱动时，一定要选择否：
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 367.48?
因为前面我们已经安装了更加新的nvidia367，所以这里不要选择安装。其余的都直接默认或者选择是即可。

（3）环境变量配置

打开~/.bashrc文件：
sudo gedit ~/.bashrc
将以下内容写入到~/.bashrc尾部：
export PATH=/usr/local/cuda-7.5/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-7.5/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
在/etc/profile文件中添加CUDA环境变量：
sudo gedit /etc/profile
打开文档都在文档结尾加上下面两句：
1 PATH=/usr/local/cuda/bin:$PATH 2 export PATH
保存后, 执行下列命令, 使环境变量立即生效：
source /etc/profile
同时添加lib库路径，在 /etc/ld.so.conf.d/新建文件 cuda.conf
sudo gedit /etc/ld.so.conf.d/cuda.conf
在文中加入下面内容：
/usr/local/cuda/lib64
执行下列命令使之立刻生效：
sudo ldconfig
(4)测试CUDA的samples
1 cd /usr/local/cuda-7.5/samples/1_Utilities/deviceQuery 2 make 3 sudo ./deviceQuery
如果显示一些关于GPU的信息，则说明安装成功。

nvcc –V 命令可查看版本

4.配置cuDNN(感觉我的有问题，我暂时没用这个，另外这个单独写了个教程)

cuDNN是GPU加速计算深层神经网络的库。

首先去官网 https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN，需要注册一个账号才能下载。

我直接在网上下的cuda7.5的cudnn-7.5-linux-x64-v5.0.tgz

进行解压：
sudo tar -zxvf ./cudnn-7.5-linux-x64-v5.0.tgz
进入cuDNN5.0解压之后的include目录，在命令行进行如下操作：
1 cd cuda/include 2 sudo cp cudnn.h /usr/local/cuda/include #复制头文件
再将进入lib64目录下的动态文件进行复制和链接：
1 cd .. 2 cd lib64 3 sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库 4 cd /usr/local/cuda/lib64/ 5 sudo chmod +r libcudnn.so.5.0.5 6 sudo ln -sf libcudnn.so.5.0.5 libcudnn.so.5 7 sudo ln -sf libcudnn.so.5 libcudnn.so 8 sudo ldconfig
5.安装opencv3.1

从官网(http://opencv.org/downloads.html)下载Linux版Opencv

并将其解压到你要安装的位置，假设解压到了/home/opencv
1 unzip opencv-3.1.0.zip 2 sudo cp ./opencv-3.1.0 /home 3 sudo mv opencv-3.1.0 opencv
安装前准备，创建编译文件夹：
1 cd ~/opencv 2 mkdir build 3 cd build
配置：
1 sudo apt install cmake 2 sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
编译：
sudo make -j8
-j8表示并行计算，根据自己电脑的配置进行设置，配置比较低的电脑可以将数字改小或不使用，直接输make。

以上只是将opencv编译成功，还没将opencv安装，需要运行下面指令进行安装：
sudo make install
测试opencv:
1 mkdir ~/opencv-test 2 cd ~/opencv-test 3 gedit DisplayImage.cpp
编辑如下代码：
1 #include <stdio.h> 2 #include <opencv2/opencv.hpp> 3 using namespace cv; 4 int main(int argc, char** argv ) 5 { 6 if ( argc != 2 ) 7 { 8 printf("usage: DisplayImage.out <Image_Path> "); 9 return -1; 10 } 11 Mat image; 12 image = imread( argv[1], 1 ); 13 if ( !image.data ) 14 { 15 printf("No image data "); 16 return -1; 17 } 18 namedWindow("Display Image", WINDOW_AUTOSIZE ); 19 imshow("Display Image", image); 20 waitKey(0); 21 return 0; 22 }
创建CMake编译文件：
gedit CMakeLists.txt
写入如下内容：
cmake_minimum_required(VERSION 2.8) project( DisplayImage ) find_package( OpenCV REQUIRED ) add_executable( DisplayImage DisplayImage.cpp ) target_link_libraries( DisplayImage ${OpenCV_LIBS} )
编译：
1 cd ~/opencv-test 2 cmake . 3 make
执行：

此时opencv-test文件夹中已经产生了可执行文件DisplayImage，随便从网上下载一张图片放在opencv-test文件夹下，此处下载了opencv.jpg，然后运行：
./DisplayImage opencv.jpg
结果是显示我下载的这张图像。

如果想用python调用opencv，安装python-opencv：
1 sudo apt-get install python-opencv 2 sudo apt-get install python-numpy
打开python，import即可。

Ps：如果用cuda8.0，可能会出现以下错误：

这是因为opecv3.0与cuda8.0不兼容导致的。解决办法：修改～/opencv/modules/cudalegacy/src/graphcuts.cpp文件内容，如图：

其中
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000)
是我们修改的。

6.配置caffe

（1）https://github.com/BVLC/caffe下载caffe

下载完成后，会在家目录下的下载里找到caffe-master.zip，用unzip命令解压到家目录下，然后重命名为caffe.

（2）复制Makefileconfig
sudo cp Makefile.config.example Makefile.config
（3）打开并修改配置文件：
sudo gedit Makefile.config #打开Makefile.config文件
根据个人情况修改文件：

a.若使用cudnn，则
将
#USE_CUDNN := 1
修改成：
USE_CUDNN := 1
b.若使用的opencv版本是3的，则
#OPENCV_VERSION := 3
修改为：
OPENCV_VERSION := 3
c.若要使用python来编写layer，则
#WITH_PYTHON_LAYER := 1
修改为
WITH_PYTHON_LAYER := 1
d.重要的一项 :

将# Whatever else you find you need goes here. 下面的
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include 2 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为：
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial 2 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
（4）修改makefile文件

打开makefile文件，做如下修改：（这个不知道有没有用，这一步感觉没作用）
将：
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
接下来是针对安装opencv3.0.0版本的同学而言的，对于3.0.0之前的版本不需要修改：

在位置（(LIBRARIES+= glog gflags protobuf leveldb snappy lmdbboost_system hdf5_hl hdf5 m
opencv_coreopencv_highgui opencv_imgproc opencv_imgcodecs)）处添加opencv_imgcodecs

这一步非常重要，否则编译后会出现错误如下：
CXX/LD-o.build_release/tools/convert_imageset.bin .build_release/lib/libcaffe.so:undefined reference tocv::imread(cv::String const&,int)'.build_release/lib/libcaffe.so: undefined referencetocv::imencode(cv::String const&, cv::_InputArray const&,std::vector >&, std::vector > const&)'
原因就是opencv3.0.0把imread相关函数放到imgcodecs.lib中了，而非原来的imgproc.lib。

（If you input "make all",the problem is the same again.But if you delete all the file in build(rm -rf ./build/*) before "make all"(I use make clean ),you will success.I just success）

（5）编辑/usr/local/cuda/include/host_config.h（不知道有没有用，这一步我看到有帖子改了，但大多数没改这个）

将其中的第115行注释掉：
#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改为
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
（6）编译
make all –j8 make test –j8 make runtest –j8
7.编译pycaffe

在caffe根目录的python文件夹下，有一个requirements.txt的清单文件，上面列出了需要的依赖库，按照这个清单安装就可以了。

在安装scipy库的时候，需要fortran编译器（gfortran)，如果没有这个编译器就会报错，因此，我们可以先安装一下。

首先回到caffe的根目录，然后执行安装代码：
1 cd ~/caffe 2 sudo apt-get install gfortran 3 cd ./python 4 for req in $(cat requirements.txt); do pip install $req; done
安装完成以后，再次回到caffe根目录我们可以执行：
1 cd .. 2 sudo pip install -r python/requirements.txt
就会看到，安装成功的，都会显示Requirement already satisfied, 没有安装成功的，会继续安装。

编译python接口:
make pycaffe -j8
配置环境变量，以便python调用：
sudo gedit ~/.bashrc
将export PYTHONPATH=/home/caffe/python:$PYTHONPATH添加到文件中
source ~/.bashrc
查看全文

相关阅读:
流行-Manifold学习理解与应用
 狠心奶奶自断亲情，28年后孙女拒绝相见：人有没有不原谅的权利？
学术论文常用词汇总结（待更新）
机动车驾驶（2）--- 老司机经验
 关于MySQL数据导出导入
 php5.6-lumen与php5.6-phalcon性能对比
 win7(64bit)+python3.5+pyinstaller3.2安装和测试
 WARNING: Can not get binary dependencies for file...
一些不错的计算机书籍
 PHP扩展类ZipArchive实现压缩解压Zip文件和文件打包下载

原文地址：https://www.cnblogs.com/shuimuqingyang/p/10007312.html

Ubuntu16.04安装配置Caffe教程(GPU版)

Unsupported gpu architecture 'compute_20'

Ubuntu16.04 14.04安装配置Caffe(GPU版)

1. 安装相关依赖项

2.安装NVIDIA驱动

3.安装CUDA

4.配置cuDNN(感觉我的有问题，我暂时没用这个，另外这个单独写了个教程)

5.安装opencv3.1

6.配置caffe

7.编译pycaffe