opencv笔记--ORB

    ORB detector 使用 FAST detector 和 BRIEF descriptor 基本思路。在介绍 ORB 之前，首先对 FAST 与 BRIEF 进行说明。

    1 FAST

       FAST(Featrues from Accelerated Segment Test)，其基本思想是比较当前点与周边点差异，当周边有连续不少于一半的点均比中间点亮或者暗，则认为该点为一个特征点。其中，亮或暗的定义为：

      1）当  时，周边点比中间点亮；

      2）当  时，周边点比中间点暗；

      3）当  时，周边点与中间点相似；

      使用以上定义，可以迅速找到图像中候选特征点。

      由于需要满足不少于一半的连续周边点亮于或暗于中间点，可以首先检测水平与垂直方向上四个点，当少于两个连续点满足条件，则该点一定不是候选特征点。如此可以提升计算效率。

      当完成候选特征点扫描后，会发现存在许多临近特征点，可以使用如下评分进行非极大值抑制：

      ；

       以上即为 FAST 的基本思想，opencv 实现在 cv::FastFeatureDetector 中，参数 threshold 定义了亮或暗，nonmaxSuppression 确定是否排除临近点。

    2 BRIEF

       BRIEF 对特征点生成描述特征向量。在 SIFT 与 SURF 中均使用了块特征描述方案，使用不同小块的方向梯度直方图构成特征向量。BRIEF 使用点特征描述特征点，基本思想为：

       1）在特征点区域内随机生成 N 个点对，这N个点对生成方式有很多种，但一旦生成，对于所有特征点描述均使用相同的点对模式；

       2）由于需要对孤立点进行比较，所以首先平滑图像以抑制噪声；

       3）构造 N 位向量，第 k 个点对生成第 k 位向量，当点对中前一个点大于后一个点，其值为  1，反之为 0；

       opencv 实现在 cv::BriefDescriptorExtractor 中，参数 bytes 确定特征点描述向量长度为 bytes * 8。

       结合 FAST 与 BRIEF，可以实现类似 SIFT 与 SURF 的功能，以下给出简单使用代码：

       

cv::FastFeatureDetector detector(20);
std::vector<cv::KeyPoint> keypoints1, keypoints2;
detector.detect(img1, keypoints1);
detector.detect(img2, keypoints2);

cv::BriefDescriptorExtractor brief;
cv::Mat descriptors1, descriptors2;
brief.compute(img1, keypoints1, descriptors1);
brief.compute(img2, keypoints2, descriptors2);

// 不同于SIFT与SURF，这里使用汉明距离
cv::BFMatcher matcher(cv::NORM_HAMMING);
std::vector<DMatch> matches;
matcher.match(descriptors1, descriptors2, matches);

      其匹配结果如下：

        

      

   

3 ORB

       ORB 主要思想如下：

       1）使用 FAST 提取候选特征点；

       2）为了克服 FAST 可能产生的边缘响应，使用 Harris corner measure 保留角点响应，剔除边缘响应（边缘响应不利于匹配）；

       3）按以上方法在不同层级图像金字塔上搜索候选特征点；

       4）使用归一化图像描述特征点方向 ；

       5）使用特征点方向生成 BRIEF 特征点描述向量；

       6）使用汉明距离计算特征点之间相似度；

       opencv 提供  cv::ORB 实现特征点提取与描述，其构造函数参数如下：

       nfeatures 表示需要提取的特征点数量；

       scaleFactor，nlevels  为图像金字塔参数；

       firstLevel 表示从第几层开始搜索特征点，一般为 0；

       patchSize 确定特征点尺寸，edgeThreshold 应不小于 patchSize，该参数忽略边界特征点；

       scoreType 确定使用 FAST 评分机制或者 Harris corner 评分机制；

       WTA_K 控制比较点个数，当为 2 时，即为 FAST 对点对比较方式；

       以下给出简单使用代码：

       

cv::Mat img1 = cv::imread("a.bmp", cv::IMREAD_GRAYSCALE);
cv::Mat img2 = cv::imread("b.bmp", cv::IMREAD_GRAYSCALE);

std::vector<cv::KeyPoint> keypoints1, keypoints2;
cv::Mat descriptors1, descriptors2;

cv::ORB orb(100, 1.5, 4);
orb.operator()(img1, cv::noArray(), keypoints1, descriptors1);
    orb.operator()(img2, cv::noArray(), keypoints2, descriptors2);

cv::BFMatcher matcher(cv::NORM_HAMMING);
std::vector<DMatch> matches;
matcher.match(descriptors1, descriptors2, matches);

cv::Mat img_matches;
cv::drawMatches(img1, keypoints1, img2, keypoints2, matches, img_matches);
cv::imwrite("c.jpg", img_matches);

double min_dist = 100;

for (int i = 0; i < matches.size(); i++)
{
    double dist = matches[i].distance;
    if (dist < min_dist) min_dist = dist;
        
}

// Draw only "good" matches (i.e. whose distance is less than 2*min_dist,
// or a small arbitary value ( 0.02 ) 
std::vector< DMatch > good_matches;

for (int i = 0; i < matches.size(); i++)
{
    if (matches[i].distance <= max(2 * min_dist, 0.02))
    {
        good_matches.push_back(matches[i]);
    }
}

cv::drawMatches(img1, keypoints1, img2, keypoints2, good_matches, img_matches);
cv::imwrite("d.jpg", img_matches)

     其匹配结果如下：

     

     

     

     参考资料 Learning OpenCV 3   Adrian Kaehler & Gary Bradski