zoukankan      html  css  js  c++  java

  • 官方Caffe-windows 配置与示例运行

    http://blog.csdn.net/guoyk1990/article/details/52909864

    标签： caffewindows配置训练自己的数据
    2016-10-24 13:34 11651人阅读 评论(2) 收藏 举报
     分类：
      

    版权声明：本文为博主原创文章，未经博主允许不得转载。

    本文主要介绍官方给出的caffe-windows的配置及如何训练mnist数据集，介绍的比较基础，大神请绕道吐舌头

    1、环境：windows 10CUDA7.5cuDNNVS2013

    2、GPU计算环境准备（没有GPU的同学可以跳过此步）

    （1）首先下载并安装CUDA7.5，下载界面如图1：

    图 1：CUDA7.5的下载界面

    （2）下载cuDNN，注意要下载cuDNN v4版本，下载界面如图2：

    图 2：cuDNN的下载界面

    官网下载cuDNN需要先注册，而且要填一些调查表，也可以在我上传的资源中下载。下载后解压会有三个文件夹bin、include、lib。将这三个文件夹复制到cuda的安装目录中：NVIDIA GPU ComputingToolkitCUDAv7.5。（cuda的安装目录中也有这三个文件夹，将这三个文件夹分别与原来存在的文件夹合并，如3图所示）。

    图 3：CUDA 7.5 安装的根目录

    3、caffe-windows准备

    (1)下载官方caffe-windows并解压，将 .windowsCommonSettings.props.example备份，并改名为CommonSettings.props。如图4所示：

    图 4：修改后的CommonSettings.props文件

    (2)关于CommonSettings.props文件的一点说明。

     

    [html] view plain copy
     
    1. </pre><pre name="code" class="html"><?xml version="1.0" encoding="utf-8"?>  
    2. <Project ToolsVersion="4.0" xmlns="http://schemas.microsoft.com/developer/msbuild/2003">  
    3.     <ImportGroup Label="PropertySheets" />  
    4.     <PropertyGroup Label="UserMacros">  
    5.         <BuildDir>$(SolutionDir)..Build</BuildDir>  
    6.         <!--NOTE: CpuOnlyBuild and UseCuDNN flags can't be set at the same time.-->  
    7.         <CpuOnlyBuild>false</CpuOnlyBuild><!--注释里说的很清楚，这两个值不能同时设为true。若没有GPU就把CpuOnlyBuild设为true-->  
    8.         <UseCuDNN>true</UseCuDNN>  
    9.         <CudaVersion>7.5</CudaVersion>  
    10.         <!-- NOTE: If Python support is enabled, PythonDir (below) needs to be  
    11.          set to the root of your Python installation. If your Python installation  
    12.          does not contain debug libraries, debug build will not work. -->  
    13.         <PythonSupport>false</PythonSupport><!--设置是否支持python接口,若想支持，需要改后面的PythonDir的值-->  
    14.     <!-- NOTE: If Matlab support is enabled, MatlabDir (below) needs to be  
    15.          set to the root of your Matlab installation. -->  
    16.         <MatlabSupport>false</MatlabSupport><!--设置是否支持matlab接口,若想支持，需要改后面的MatlabDir的值-->  
    17.         <CudaDependencies></CudaDependencies>  
    18.   
    19.         <!-- Set CUDA architecture suitable for your GPU.  
    20.          Setting proper architecture is important to mimize your run and compile time. -->  
    21.         <CudaArchitecture>compute_35,sm_35;compute_52,sm_52</CudaArchitecture>  
    22.   
    23.         <!-- CuDNN 3 and 4 are supported -->  
    24.         <CuDnnPath></CuDnnPath>  
    25.         <ScriptsDir>$(SolutionDir)scripts</ScriptsDir>  
    26.     </PropertyGroup>  
    27.     <PropertyGroup Condition="'$(CpuOnlyBuild)'=='false'">  
    28.         <CudaDependencies>cublas.lib;cuda.lib;curand.lib;cudart.lib</CudaDependencies>  
    29.     </PropertyGroup>  
    30.   
    31.     <PropertyGroup Condition="'$(UseCuDNN)'=='true'">  
    32.         <CudaDependencies>cudnn.lib;$(CudaDependencies)</CudaDependencies>  
    33.     </PropertyGroup>  
    34.     <PropertyGroup Condition="'$(UseCuDNN)'=='true' And $(CuDnnPath)!=''">  
    35.         <LibraryPath>$(CuDnnPath)cudalibx64;$(LibraryPath)</LibraryPath>  
    36.         <IncludePath>$(CuDnnPath)cudainclude;$(IncludePath)</IncludePath>  
    37.     </PropertyGroup>  
    38.   
    39.     <PropertyGroup>  
    40.         <OutDir>$(BuildDir)$(Platform)$(Configuration)</OutDir>  
    41.         <IntDir>$(BuildDir)Int$(ProjectName)$(Platform)$(Configuration)</IntDir>  
    42.     </PropertyGroup>  
    43.     <PropertyGroup>  
    44.         <LibraryPath>$(OutDir);$(CUDA_PATH)lib$(Platform);$(LibraryPath)</LibraryPath>  
    45.         <IncludePath>$(SolutionDir)..include;$(SolutionDir)..includecaffeproto;$(CUDA_PATH)include;$(IncludePath)</IncludePath>  
    46.     </PropertyGroup>  
    47.     <PropertyGroup Condition="'$(PythonSupport)'=='true'"><!--与前面python接口设置对应-->  
    48.         <PythonDir>C:Miniconda2</PythonDir>  
    49.         <LibraryPath>$(PythonDir)libs;$(LibraryPath)</LibraryPath>  
    50.         <IncludePath>$(PythonDir)include;$(IncludePath)</IncludePath>  
    51.     </PropertyGroup>  
    52.     <PropertyGroup Condition="'$(MatlabSupport)'=='true'"><!--与前面的matlab接口设置对应-->  
    53.         <MatlabDir>C:Program FilesMATLABR2014b</MatlabDir>  
    54.         <LibraryPath>$(MatlabDir)externlibwin64microsoft;$(LibraryPath)</LibraryPath>  
    55.         <IncludePath>$(MatlabDir)externinclude;$(IncludePath)</IncludePath>  
    56.     </PropertyGroup>  
    57.     <ItemDefinitionGroup Condition="'$(CpuOnlyBuild)'=='true'">  
    58.         <ClCompile>  
    59.             <PreprocessorDefinitions>CPU_ONLY;%(PreprocessorDefinitions)</PreprocessorDefinitions>  
    60.         </ClCompile>  
    61.     </ItemDefinitionGroup>  
    62.     <ItemDefinitionGroup Condition="'$(UseCuDNN)'=='true'">  
    63.         <ClCompile>  
    64.             <PreprocessorDefinitions>USE_CUDNN;%(PreprocessorDefinitions)</PreprocessorDefinitions>  
    65.         </ClCompile>  
    66.         <CudaCompile>  
    67.             <Defines>USE_CUDNN</Defines>  
    68.         </CudaCompile>  
    69.     </ItemDefinitionGroup>  
    70.     <ItemDefinitionGroup Condition="'$(PythonSupport)'=='true'">  
    71.         <ClCompile>  
    72.             <PreprocessorDefinitions>WITH_PYTHON_LAYER;BOOST_PYTHON_STATIC_LIB;%(PreprocessorDefinitions)</PreprocessorDefinitions>  
    73.         </ClCompile>  
    74.     </ItemDefinitionGroup>  
    75.     <ItemDefinitionGroup Condition="'$(MatlabSupport)'=='true'">  
    76.         <ClCompile>  
    77.             <PreprocessorDefinitions>MATLAB_MEX_FILE;%(PreprocessorDefinitions)</PreprocessorDefinitions>  
    78.         </ClCompile>  
    79.     </ItemDefinitionGroup>  
    80.     <ItemDefinitionGroup>  
    81.         <ClCompile>  
    82.             <MinimalRebuild>false</MinimalRebuild>  
    83.             <MultiProcessorCompilation>true</MultiProcessorCompilation>  
    84.             <PreprocessorDefinitions>_SCL_SECURE_NO_WARNINGS;USE_OPENCV;USE_LEVELDB;USE_LMDB;%(PreprocessorDefinitions)</PreprocessorDefinitions>  
    85.             <TreatWarningAsError>true</TreatWarningAsError>  
    86.         </ClCompile>  
    87.     </ItemDefinitionGroup>  
    88.     <ItemDefinitionGroup Condition="'$(Configuration)|$(Platform)'=='Release|x64'">  
    89.         <ClCompile>  
    90.             <Optimization>Full</Optimization>  
    91.             <PreprocessorDefinitions>NDEBUG;%(PreprocessorDefinitions)</PreprocessorDefinitions>  
    92.             <RuntimeLibrary>MultiThreadedDLL</RuntimeLibrary>  
    93.             <FunctionLevelLinking>true</FunctionLevelLinking>  
    94.         </ClCompile>  
    95.         <Link>  
    96.             <EnableCOMDATFolding>true</EnableCOMDATFolding>  
    97.             <GenerateDebugInformation>true</GenerateDebugInformation>  
    98.             <LinkTimeCodeGeneration>UseLinkTimeCodeGeneration</LinkTimeCodeGeneration>  
    99.             <OptimizeReferences>true</OptimizeReferences>  
    100.         </Link>  
    101.     </ItemDefinitionGroup>  
    102.     <ItemDefinitionGroup Condition="'$(Configuration)|$(Platform)'=='Debug|x64'">  
    103.         <ClCompile>  
    104.             <Optimization>Disabled</Optimization>  
    105.             <PreprocessorDefinitions>_DEBUG;%(PreprocessorDefinitions)</PreprocessorDefinitions>  
    106.             <RuntimeLibrary>MultiThreadedDebugDLL</RuntimeLibrary>  
    107.         </ClCompile>  
    108.         <Link>  
    109.             <GenerateDebugInformation>true</GenerateDebugInformation>  
    110.         </Link>  
    111.     </ItemDefinitionGroup>  
    112. </Project>  

    4、编译caffe-windows

    编译用vs2013打开.windowsCaffe.sln 并将解决方案的配置改为release，点菜单栏上的“生成->生成解决方案”，会将整个项目全部生成，这个时间会比较长（由于官方caffe-windows 的版本使用了NuGet管理第三方开发包，所以需要在vs2013上安装NuGet，官方网站下载速度比较慢，可以在我的资源里下载）。生成成功之后的文件都在.Buildx64Release中。

    PS：生成时可能遇到的错误：errorC2220: 警告被视为错误 - 没有生成“object”文件 (....srccaffeutilmath_functions.cpp)。这个错误可参考Sunshine_in_Moon 的解决方案。

    5、测试

    1）下载MNIST数据集，MNIST数据集包含四个文件，如表1所示：

    表1：MNIST数据集及其文件解释

     

    文件

    内容

    train-images-idx3-ubyte.gz

    训练集图片 - 55000 张 训练图片, 5000 张 验证图片

    train-labels-idx1-ubyte.gz

    训练集图片对应的数字标签

    t10k-images-idx3-ubyte.gz

    测试集图片 - 10000 张 图片

    t10k-labels-idx1-ubyte.gz

    测试集图片对应的数字标签
    下载完后解压得到对应的四个文件，这四个文件不能直接用于caffe的训练和测试。需要利用第4步生成的convert_mnist_data.exe把四个文件转换为caffe所支持的leveldb或lmdb文件。

    2）转换 训练测试数据

     

    a)  中的四个文件放到 . examplesmnistmnist_data文件夹下。

    b)  在caffe-windows安装的根目录下，新建一个convert-mnist-data-train.bat文件转换为训练数据，并在文件中添加代码:

     

    [python] view plain copy
     
    1. Buildx64Releaseconvert_mnist_data.exe --backend=lmdbexamplesmnistmnist_data rain-images.idx3-ubyteexamplesmnistmnist_data rain-labels.idx1-ubyte examplesmnistmnist_datamnist_train_lmdb  
    2. pause  

    其中--backend=lmdb 表示转换为lmdb格式，若要转换为leveldb将其改写为--backend=leveldb 即可。

    再新建一个convert-mnist-data-test.bat转换测试数据，代码为：

     

    [python] view plain copy
     
    1. Buildx64Releaseconvert_mnist_data.exe --backend=lmdb examplesmnistmnist_data 10k-images.idx3-ubyte examplesmnistmnist_data 10k-labels.idx1-ubyte examplesmnistmnist_datamnist_test_lmdb  
    2. Pause  

    Ps：（1）convert_mnist_data.exe的命令格式为：

    convert_mnist_data [FLAGS] input_image_file input_label_file output_db_file

    [FLAGS]：转换的文件格式可取leveldb或lmdb，示例：--backend=leveldb

    Input_image_file:输入的图片文件，示例：train-images.idx3-ubyte

    input_label_file：输入的图片标签文件，示例：train-labels.idx1-ubyte

    output：保存输出文件的文件夹，示例：mnist_train_lmdb

    （2）如果感觉很麻烦，也可以直接下载我转换好的MNIST文件（leveldb和lmdb）。

    3）运行测试

    （1）将第2）步中转换好的训练测试数据集（mnist_train_lmdb mnist_train_lmdb或mnist_train_leveldbmnist_train_leveldb）文件夹放在.examplesmnist中。

    （2）在caffe-windows根目录下新建一个run.bat，文件中代码：

    [python] view plain copy
     
    1. Buildx64Releasecaffe.exe  train --solver=examples/mnist/lenet_solver.prototxt  
    2. pause  

    保存并双击运行，如果运行成功，说明caffe配置成功了。

    注意：使用leveldb或lmdb格式的数据时，需要将lenet_train_test.prototxt 文件里面的data_param-> source和data_param-> backend相对应，如图5红框所标注处。
     

    图 5：lenet_train_test.prototxt文件中需要注意与训练测试数据对应的部分

    4）训练自己的数据

    这部分可以参考下面的几个博客：

    1.在caffe上跑自己的数据

    2.windows下caffe训练自己的数据

     

    References

    BVLC/caffe

    从零到一：caffe-windows(CPU)配置与利用mnist数据集训练第一个caffemodel

    Windows+VS2013爆详细Caffe编译安装教程

    【caffe-Windows】caffe+VS2013+Windows无GPU快速配置教程
  • 相关阅读:
    文本域光标操作（选、添、删、取）的jQuery扩展
    jQuery插件，将内容插入到光标处
    onmouseout,mouseover经过子元素也触发的问题解决方案
    【M4】非必要不提供default 构造方法
    【M3】绝对不要以多态方式处理数组
    100亿个数字找出最大的10个
    【M2】最好使用C++转型操作符
    【M26】限制某个class所能产生的对象数量
    理解extern
    变量的属性
  • 原文地址：https://www.cnblogs.com/leoking01/p/6900633.html
Copyright © 2011-2022 走看看