caffe参数详解 - 走看看

zoukankan html css js c++ java

caffe参数详解
转载自：https://blog.csdn.net/qq_14845119/article/details/54929389

solver.prototxt

net:训练预测的网络描述文件，train_test.prototxt

test_initialization:取值为true或者false，默认为true，就是刚启动就进行测试，false的话不进行第一次的测试。

test_iter:在测试的时候，需要迭代的次数，即test_iter* batchsize（测试集的）>=测试集的大小，测试集的 batchsize可以在prototxt文件里设置。

test_interval:训练的时候，每迭代test_interval次就进行一次测试。

base_lr:基础学习速率。

gamma:调节学习速率的因子

power:调节学习速率需要用到的参数

stepsize:每隔stepsize降低学习速率，每隔stepsize，基础学习速率*gamma

stepvalue: "multistep"学习策略需要用到的参数，每到stepvalue，按"step"的方式调整学习速率

lr_policy:

"fixed":固定学习速率，始终等于base_lr

"step":步进衰减，base_lr*gamma^(floor(iter/stepsize))

"exp":指数衰减，base_lr*gamma^(iter)

"inv":倒数衰减，base_lr*(1+gamma*iter)^(-power)

"multistep":多步衰减，与步进衰减类似，允许非均匀步进值(stepvalue)

"ploy":多项式衰减，在max_iter时达到0，base_lr*(1-iter/max_iter)^(power)

"sigmoid":S形衰减，base_lr*(1/(1+exp^(-gamma*(iter-stepsize))))

display:每display次打印一次Loss

max_iter：训练的最大迭代次数

momentum:冲量，灵感来自于牛顿第一定律，基本思路是为寻优加入了“惯性”的影响，这样一来，当误差曲面中存在平坦区的时候，SGD可以更快的速度学习。

weight_decay:权衰量，

snapshot:迭代snapshot次，打印一次快照，即保存一次*.caffemodel，*.solverstate

snapshot_prefix:快照，*.caffemodel，*.solverstate保存的位置

solver_mode:训练模式，可选，CPU，GPU，2种模式

train_test.prototxt

数据层参数：

data:数据层

bottom：输入

top: 输出

type:数据属性，包含3种格式，1种是Data，输入格式为LMDB，LEVELDB，另一种是ImageData，输入格式为*.txt，txt中格式为，路径图片类别标签，第三种为HDF5Data，该格式支持频谱图、特征向量的输入，

ps:matlab生成HDF5步骤，假设每个特征向量为512维，输入1000个特征向量
```
% 创建HDF5文件，包含data和label两个变量，数据类型是caffe支持的float型数据
```
```
h5create('train.h5','/data',[1 1 512 1000],'Datatype','single');
```
```
h5create('train.h5','/label',[1 1 1 1000],'Datatype','single');
```
```
%reshape: width x height x channels x num，注意MATLAB读数据是列优先，是和C++里面相反的。所以写数据的时候也要倒着写。
```
```
train_data  = reshape(train_data,[1 1 512 1000]);
```
```
train_label = reshape(train_label,[1 1 1 1000]);
```
```
h5write('train.h5' ,'/data' , single(train_data));
```
```
h5write('train.h5' ,'/label', single(train_label));
```
HDF5Data-layer参数，
```
layer {
```
```
  name: "data"
```
```
  type: "HDF5Data"
```
```
  top: "data"
```
```
  top: "label"
```
```
  include {
```
```
    phase: TRAIN
```
```
  }
```
```
  hdf5_data_param {
```
```
  source: "train.txt"
```
```
  batch_size: 128
```
```
  shuffle: true
```
```
  }
```
```
}
```
train.txt内容，shuffle只对H5文件进行乱序，而每个H5文件内部的顺序不动，
```
train1.h5
```
```
train2.h5
```
```
...
```
mean_value:训练图片需要减去的均值，一般为127.5

scale:数据变换使用的数据缩放因子

mirror:是否做镜像操作，可选，true，false

crop_size:crop变换的大小

mean_file:均值文件

source：数据源地址，可以是LMDB或者txt格式的文件

batchsize:批量读取的图片数目

shuffle：是否要打乱图片顺序，使不同类别交叉排列，可选，true，false

backend:数据格式，可选参数，LMDB，LEVELDB

rand_skip:跳过开头的 rand_skip * rand(0,1)个数据，通常在异步随机梯度下降法里使用

卷基层参数：

Convolution:卷基层

lr_mult: 学习率，但是最终的学习率需要乘以 solver.prototxt 配置文件中的 base_lr .

如果有两个 lr_mult, 则第一个表示 weight 的学习率，第二个表示 bias 的学习率
一般 bias 的学习率是 weight 学习率的2倍

blobs_lr:和lr_mult意思一样，有的配置文件也这么写

decay_mult:权值衰减，为了避免模型的over-fitting，需要对cost function加入规范项。

weight_decay: 和decay_mult意思一样，有的配置文件也这么写

kernel_size:卷积核的大小。如果核的长和宽不等，需要用 kernel_h 和 kernel_w 分别设定卷积

stride: 卷积核的步长，默认为1。也可以用stride_h和stride_w来设置。

pad: 扩充边缘，默认为0，不扩充。

扩充的时候是左右、上下对称的，比如卷积核的大小为5*5，那么pad设置为2，则四个边缘都扩充2个像素，即宽度和高度都扩充了4个像素，这样卷积运算之后的特征图就不会变小。也可以通过pad_h和pad_w来分别设定。

weight_filter:权值初始化。默认为“constant”,值全为0，很多时候我们用”xavier”算法来进行初始化，也可以设置为”gaussian”
```
weight_filler {
```
```
      type: "constant"
```
```
      value:0
```
```
    }
```
```
weight_filler {
```
```
      type: "xavier"
```
```
    }
```
```
weight_filler {
```
```
    type: "gaussian"
```
```
    std: 0.01
```
```
}
```
bias_filter:偏置项的初始化。一般设置为”constant”,值全为0
```
bias_filler {
```
```
      type: "constant"
```
```
      value: 0
```
```
    }
```
bias_term:是否开启偏置项，默认为true,开启

group:默认为1，如果大于1，那么将每个滤波器都限定只与某个输入的子集有关联。换句话说，将输入分为group组，同时将输出也分为group组。那么第i组输出只与第i组输入有关。

dilation:atrous（hole algorithms），RFCN中的亮点，可以增大map，提高对小目标的检测。详细可以参考RestNet-res3a，RestNet-OHEM。

AbsVal：使用 abs(x)函数计算每个输入数据 x 的输出

Power：使用函数(shift + scale * x) ^ power 计算每个输入数据 x的输出
```
power_param {
  power: 1
  scale: 1
  shift: 0
}
```
BNLL：使用函数log(1 + exp(x)) 计算每个输入数据 x 的输出

Dropout:防止模型过拟合；训练模型时，随机让网络某些隐含层节点的权重不工作，
```
dropout_param { 
    dropout_ratio: 0.5 #丢弃数据的概率
} 
```
Eltwise:将2个bottom合并为1个top，合并的方式为，PRODUCT（点乘）， SUM（相加减）和 MAX（取大值），其中SUM是默认操作

bottom相加：
```
eltwise_param {
```
```
    operation: SUM
```
```
  }
```
bottom相减：
```
eltwise_param {
```
```
    operation: SUM
```
```
    coeff:1
```
```
    coeff:-1
```
```
  }
```
bottom取大值：
```
eltwise_param { 
```
```
    operation: MAX
```
```
  }
```
InnerProduct:也就是全连接层，fully_connected (fc)layer，主要实现，C←αA×B+βC，A为M*K维矩阵，B为K*N维矩阵，C为M*N维矩阵，缺点就是，使用包含全连接层的模型(如AlexNet)必须使用固定大小的输入，有时这是非常不合理的，因为必须对输入图片进行变形

lr_mult，decay_mult，weight_filter，bias_filter

Split:将blob复制为n份，分给不同的Layer，所有Layer共享该blob，实现为1个bottom，n个top

Slice:输入1个bottom，输出n个top，将blob中的数据切分为n份，假设input的维度是N*5*H*W，tops输出的维度分别为N*1*H*W ，N*2*H*W， N*1*H*W， N*1*H*W 。
这里需要注意的是，如果有slice_point，slice_point的个数一定要等于top的个数减一。
axis表示要进行分解的维度，0为N(num)上分解，1为C(channel)上分解。
slice_point的作用是将axis按照slic_point 进行分解。
slice_point没有设置的时候则对axis进行均匀分解。
```
slice_param {
```
```
    axis: 1
```
```
    slice_point: 1
```
```
    slice_point: 3
```
```
    slice_point: 4
```
```
  }
```
Concat:将多个layer进行组合拼接，输入为n个bottom，输出为1个top，例如，输入k个blob为，n_i*c_i*h*w，则，

axis=0，输出为(n_1+n_2+……+n_k)*c_i*h*w，

axis=1，输出为n_i*(c_1+c_2+……c_k)*h*w，

axis表示要进行分解的维度，0为N(num)上拼接，1为C(channel)上拼接。
```
concat_param{
```
```
    axis:1
```
```
}
```
Reduction:将某个维度缩减至1维，方法可以是sum、mean、asum、sumsq。

axis表示要进行缩减的维度，0为N(num)上缩减，1为C(channel)上缩减。
```
reduction_param {  
```
```
    axis: 0  
```
```
    } 
```
Flatten: 把一个输入的大小为n * c * h * w变成一个简单的向量，其大小为 n * (c*h*w) * 1 * 1。

Reshape: 改变blob的维度，而不改变其自身的数据，每个blob为4维，故有4个dim参数，0代表不改变维度的值，-1代表由caffe计算出值，正数代表将维度更改为对应的值
```
reshape_param { 
shape { 
    dim: 0 # copy the dimension from below 
    dim: 2 
    dim: 3 
    dim: -1 # infer it from the other dimensions 
    } 
} 
```
Crop:输入两个blob，将bottom[0] 按照bottom[1]的尺寸进行剪裁，

axis=0,1,2,3分别表示为N,C,H,W；默认axis等于2，即默认从H开始裁剪（裁剪H和W）;可以只设置1个，也可以为每个dimension分别设置，

offset表示裁剪时的偏移量，
```
crop_param { 
    axis: 2 
    offset: 5 
} 
```
BatchNorm:batch归一化层，需要和Scale层一起使用，即一个BatchNorm后面跟一个Scale，use_global_stats训练的时候设置为false，这时caffe会基于当前batch计算均值和方差，测试的时候设置为true，此时会强制使用模型中存储的均值和方差参数。
```
batch_norm_param{
```
```
    use_global_stats:true
```
```
}
```
Scale:
```
scale_param{
```
```
    bias_term:true
```
```
}
```
LRN(Local ResponseNormalization):AlexNet的产物，后期感觉对performance提升意义不大，local_size ，默认为5，对于cross channel LRN为需要求和的邻近channel的数量，对于within channel LRN为需要求和的空间区域的边长

alpha ，默认为1，scaling参数

beta ，默认为 5，指数

norm_region，默认为ACROSS_CHANNELS，

选择LRN实现的方法：

1. ACROSS_CHANNELS ，输出大小为localsize×1×1，

2. WITHIN_CHANNEL，输出大小为1×localsize×localsize，
```
lrn_param{
```
```
    local_size:5
```
```
    alpha:0.0001
```
```
    beta:0.75
```
```
}
```
激活层参数：

ReLU:非线性层，使用ReLU作为激活函数，对于给定的一个输入值x，如果x > 0，ReLU层的输出为x，如果x < 0，ReLU层的输出为0，可选参数negative_slope，此参数使得x <0时，ReLU层的输出为negative_slope * x，类似于PReLU的功能，RELU层支持原址计算（in-place）
```
relu_param{ 
    negative_slope: [默认：0] 
} 
```
PReLU: 非线性层，使用PReLU作为激活函数，在负半轴的输出乘以一个系数，而这个系数是可学习的（你可以为其指定学习率），其中value是系数的初始值，channel_shared指定是否在各个通道间共享这个系数。
```
prelu_param { 
filler: { 
    value: 0.33 #: 默认为0.25 
} 
    channel_shared: false 
} 
```
TanH: 使用 tanh(x)函数作为激活函数计算每个输入数据 x的输出

损失层参数：

SoftmaxWithLoss：类似svm，用于分类的层，输入blob为ip和label，这里注意label要从0开始(2个bottom)，输出blob为loss(1个top)，用于单标签多分类任务，各概率相互不独立，总和为1，这里需要注意一下，softmax有一个默认的隐含的参数，loss_weight，默认该值为1，所以大部分的时候，尤其是只有1个Loss的时候是不写这个的。但是当有多个Loss的时候，loss_weight的设置就很有必要了，例如下面的center_loss

SigmoidCrossEntropyLoss：S形交叉熵损失，用于目标概率分布和多标签多分类任务，各概率相互独立
```
layer{
```
```
name:"loss"
```
```
type:" SigmoidCrossEntropyLoss"
```
```
bottom:"loss3/classifier"
```
```
bottom:"label"
```
```
top:"loss"
```
```
}
```
EuclideanLoss:欧式距离损失，适用于实数值回归问题，
```
layer{
```
```
name:"loss"
```
```
type:" EuclideanLoss "
```
```
bottom:"loss3/classifiersigmoid"
```
```
bottom:"label"
```
```
top:"loss"
```
```
}
```
HingeLoss：铰链损失，norm支持L1，L2，默认norm为L1，
```
# L1 Norm
```
```
layer {
name: "loss"
type: "HingeLoss"
bottom: "pred"
bottom: "label"
}
# L2 Norm
layer {
name: "loss"
```
```
type: "HingeLoss"
bottom: "pred"
bottom: "label"
top: "loss"
hinge_loss_param {
    norm: L2
  }
}
```
ContrastiveLoss:Siamese双生猫中提出的损失，用于人脸识别中，deepid2中也有使用
```
layer {
```
```
  name: "loss"
```
```
  type: "ContrastiveLoss"
```
```
  bottom: "feat"
```
```
  bottom: "feat_p"
```
```
  bottom: "sim"
```
```
  top: "loss"
```
```
  contrastive_loss_param {
```
```
    margin: 1
```
```
  }
```
```
} 
```
TripletLoss:FaceNet中提出的三元组，用于人脸识别

CenterLoss:caffeFace提出的损失，用于人脸识别，起到增大类间距离，减少类类距离
```
layer {
```
```
  name: "center_loss"
```
```
  type: "CenterLoss"
```
```
  bottom: "fc5"
```
```
  bottom: "label"
```
```
  top: "center_loss"
```
```
  param {
```
```
    lr_mult: 1
```
```
    decay_mult: 2 
```
```
  }
```
```
  center_loss_param {
```
```
    num_output: 10572
```
```
    center_filler {
```
```
      type: "xavier"
```
```
    }
```
```
  }
```
```
  loss_weight: 0.008
```
```
}
```
池化层参数：

Pooling:池化层

pool:池化方法，默认为MAX。目前可用的方法有 MAX， AVE，STOCHASTIC

kernel_size:池化的核大小

stride:池化的步长

准确率层参数：

Accuracy:分类准确率层，只在test阶段有效，输入blob为的ip和label(2个bottom)，输出blob为accuracy(1个top)

可选参数，top_k表示前几正确率
```
accuracy_param {
```
```
    top_k: 5
```
```
  }
```
查看全文

相关阅读:
dbcp2连接池获取数据库连接Connection
ItelliJ基于Gradle创建及发布Web项目（三）
freeswitch编译java esl
Java程序（非web）slf4j整合Log4j2
日期常用操作类DateUtil
关于静态库
 Activity的setContentView的流程
 ProGuard详解
 remoteViews简介
 WMS—启动过程

原文地址：https://www.cnblogs.com/llfctt/p/9204890.html