HOG特征描述
首先我们来了解一下HOG特征描述子。
HOG特征描述子（HOG descriptors）是由Navneet Dalal和 Bill Triggs在2005年的一篇介绍行人检测方法的论文提到的特征描述子（论文以及演讲可参见参考资料1、2）。
其主要思想是计算局部图像梯度的方向信息的统计值，来作为该图像的局部特征值。
- 如上图，归一化图像后，由于颜色数据对我们没有帮助，所以将图片转为灰度图。
- 然后将图片分割成一定“块”数，称作细胞单元。
- 计算每个细胞单元的梯度大小方向。
- 得到每个单元的梯度方向组成一个图片的特征向量。
- 将这个特征向量交给SVM来学习或辨认。
SVM的简单介绍可以参考：OpenCV 2.4+ C++ SVM文字识别。
算法分析
- 梯度计算
OpenCV 2.4+ C++ 边缘梯度计算中，介绍了Sobel算子和Scharr滤波器的梯度计算方法，但是论文作者使用这些复杂方法的效果并不好，最好的是使用简单的一维梯度算子：[-1, 0, 1]，进行卷积计算，分别算出x方向梯度Gx与y方向梯度Gy。然后利用下面两个公式计算梯度大小和方向：
- 平滑处理
论文作者使用了高斯模糊进行平滑处理，结果效果变差了。其可能原因是：许多有用的图像信息是来自变化剧烈的边缘，而在计算梯度之前加入高斯滤波会把这些边缘滤除掉。
- 细胞方向选择
- 细胞的统计方向，由细胞中的每一个像素点投票取得。
- 票箱是0 - PI（无向）角度范围平分为9个角度，即PI/9为每个票箱的角度范围。
- 每个投票像素点的投票权重，由其梯度幅值计算出来，可采用幅值本身（实验效果最佳），或者他的函数来表示这个权重。
- 块
局部关照变化或者前景和背景的对比变化，可能使梯度强度产生剧烈变化，但我们关注的不是这些信息，所以需要对这些信息弱化处理。利用数个细胞单元组成空间上连通的块。这样，HOG描述就成了由各个块所有细胞单元的直方图组成的一个向量，这些区域是互相重叠的。这样就减小了这些剧烈变化的影响。
每个细胞是8*8个像素点，以四个细胞组成一个块。
再由块组成检测窗。
- 块向量归一化
最后是利用L2-norm或者L1-norm进行归一化。
设v是未被归一化的向量，| vk |是k阶范数，ε为任意小常数，当k=2时，L2-norm为：
当k=1时，L1-norm为：
还有一种归一化方式L2-Hys：
首先进行L2-norm，然后进行截短（即值被限制为v - 0.2v之间），然后再归一化。
HOGDescriptor API
gpu::HOGDescriptor::HOGDescriptor
创建HOG描述符和检测器。
- C++: gpu::HOGDescriptor::HOGDescriptor(Size win_size=Size(64, 128), Size block_size=Size(16, 16), Sizeblock_stride=Size(8, 8), Size cell_size=Size(8, 8), int nbins=9, double win_sigma=DEFAULT_WIN_SIGMA, doublethreshold_L2hys=0.2, bool gamma_correction=true, int nlevels=DEFAULT_NLEVELS)
参数
- win_size – 检测窗大小。需要和块的大小、步长匹配。
- block_size – 块的大小。需要和细胞大小匹配。目前只支持(16,16)的大小。
- block_stride – 块的步长，必须是细胞大小的整数倍。
- cell_size – 细胞大小。目前只支持(8, 8)的大小。
- nbins – 投票箱的个数。目前只支持每个细胞9个投票箱。
- win_sigma – 高斯平滑窗口参数。
- threshold_L2hys – L2-Hys归一化收缩率。
- gamma_correction – 伽马校正预处理标志，需要或不需要。
- nlevels – 检测窗口的最大数目。
gpu::HOGDescriptor::getDescriptorSize
返回分类所需的系数的数目。
- C++: size_t gpu::HOGDescriptor::getDescriptorSize() const
gpu::HOGDescriptor::getBlockHistogramSize
返回块直方图的大小。
- C++: size_t gpu::HOGDescriptor::getBlockHistogramSize() const
gpu::HOGDescriptor::setSVMDetector
设置线性SVM分类器的系数。
- C++: void gpu::HOGDescriptor::setSVMDetector(const vector<float>& detector)
gpu::HOGDescriptor::getDefaultPeopleDetector
返回人的分类训练检测（默认的窗口大小）的默认系数。
- C++: static vector<float> gpu::HOGDescriptor::getDefaultPeopleDetector()
gpu::HOGDescriptor::getPeopleDetector48x96
返回人的分类训练检测（48*96窗口大小）的系数。
- C++: static vector<float> gpu::HOGDescriptor::getPeopleDetector48x96()
gpu::HOGDescriptor::getPeopleDetector64x128
返回人的分类训练检测（64*128窗口大小）的系数。
- C++: static vector<float> gpu::HOGDescriptor::getPeopleDetector64x128()
gpu::HOGDescriptor::detect
在没有多尺度的窗口执行对象检测
- C++: void gpu::HOGDescriptor::detect(const GpuMat& img, vector<Point>& found_locations, double hit_threshold=0, Sizewin_stride=Size(), Size padding=Size())
Parameters:
- img – 源图像。只支持CV_8UC1和CV_8UC4数据类型。
- found_locations – 检测出的物体的边缘。
- hit_threshold – 特征向量和SVM划分超平面的阀值距离。通常它为0，并应由检测器系数决定。但是，当系数被省略时，可以手动指定它。
- win_stride – 窗口步长，必须是块步长的整数倍。
- padding – 模拟参数，使得CUP能兼容。目前必须是(0,0)。
gpu::HOGDescriptor::detectMultiScale
在多尺度窗口中执行对象检测。
- C++: void gpu::HOGDescriptor::detectMultiScale(const GpuMat& img, vector<Rect>& found_locations, double hit_threshold=0, Size win_stride=Size(), Size padding=Size(), double scale0=1.05, int group_threshold=2)
参数
- img – 源图像。只支持CV_8UC1和CV_8UC4数据类型。
- found_locations – 检测出的物体的边缘。
- hit_threshold – 特征向量和SVM划分超平面的阀值距离。通常它为0，并应由检测器系数决定。但是，当系数被省略时，可以手动指定它。
- win_stride – 窗口步长，必须是块步长的整数倍。
- padding – 模拟参数，使得CUP能兼容。目前必须是(0,0)。
- scale0 – 检测窗口增长参数。
- group_threshold – 调节相似性系数的阈值。检测到时，某些对象可以由许多矩形覆盖。 0表示不进行分组。
gpu::HOGDescriptor::getDescriptors
返回整个图片的块描述符。
- C++: void gpu::HOGDescriptor::getDescriptors(const GpuMat& img, Size win_stride, GpuMat& descriptors, intdescr_format=DESCR_FORMAT_COL_BY_COL)
参数
- img – 源图像。只支持CV_8UC1和CV_8UC4数据类型。
- win_stride – 窗口步长，必须是块步长的整数倍。
- descriptors – 描述符的2D数组。
- descr_format –
描述符存储格式：
- DESCR_FORMAT_ROW_BY_ROW - 行存储。
- DESCR_FORMAT_COL_BY_COL - 列存储。
这个函数主要用于分类学习。
检测代码
#include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/gpu/gpu.hpp> #include <stdio.h> using namespace cv; int main(int argc, char** argv){ Mat img; vector<Rect> found; img = imread(argv[1]); if(argc != 2 || !img.data){ printf("没有图片\n"); return -1; } HOGDescriptor defaultHog; defaultHog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector()); //进行检测 defaultHog.detectMultiScale(img, found); //画长方形，框出行人 for(int i = 0; i < found.size(); i++){ Rect r = found[i]; rectangle(img, r.tl(), r.br(), Scalar(0, 0, 255), 3); } namedWindow("检测行人", CV_WINDOW_AUTOSIZE); imshow("检测行人", img); waitKey(0); return 0; }
这段代码虽然可以检测出行人，但是可能会出现，一个人身上有几个框框。例如下图左边的行人：
所以我们需要对found进行筛选，把那些被嵌套的长方形去除。
#include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/gpu/gpu.hpp> #include <stdio.h> using namespace cv; int main(int argc, char** argv){ Mat img; vector<Rect> found, foundRect; img = imread(argv[1]); if(argc != 2 || !img.data){ printf("没有图片\n"); return -1; } HOGDescriptor defaultHog; defaultHog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector()); //进行检测 defaultHog.detectMultiScale(img, found); //遍历found寻找没有被嵌套的长方形 for(int i = 0; i < found.size(); i++){ Rect r = found[i]; int j = 0; for(; j < found.size(); j++){ //如果时嵌套的就推出循环 if( j != i && (r & found[j]) == r) break; } if(j == found.size()){ foundRect.push_back(r); } } //画长方形，圈出行人 for(int i = 0; i < foundRect.size(); i++){ Rect r = foundRect[i]; rectangle(img, r.tl(), r.br(), Scalar(0, 0, 255), 3); } namedWindow("检测行人", CV_WINDOW_AUTOSIZE); imshow("检测行人", img); waitKey(0); return 0; }
PS：输入图片不能比检测窗还小，这样会抛出错误的。
参考资料
Histograms of Oriented Gradients for Human Detection . Navneet Dalal & Bill Triggs . 2005
Histograms of Oriented Gradients for Human Detection Talk . Navneet Dalal & Bill Triggs
OpenCV HOGDescriptor 参数图解 . Excalibur . 2011-03-11