学习OPENCV（二）：操作像素

    本文主要参考了<OpenCV 2 Computer Vision Application Programming Cookbook>和<The OpenCV Reference Manual>。首先讨论了几个基本的结构：cv::Mat，cv::Mat_；随后讨论了遍历图像的两种方式：Pointer和Iterators，以及速度优化的注意点。

1 cv::Mat

    cv::Mat是一个n维矩阵类，声明在<opencv2/core/core.hpp>中。

class CV_EXPORTS Mat
{
public:
    //a lot of methods

    …

/*! includes several bit-fields:
         - the magic signature
         - continuity flag
         - depth
         - number of channels
     */
    int flags;
    //! the matrix dimensionality, >= 2
    int dims;
    //! the number of rows and columns or (-1, -1) when the matrix has more than 2 dimensions
    int rows, cols;
    //! pointer to the data
    uchar* data;

    //! pointer to the reference counter;
    // when matrix points to user-allocated data, the pointer is NULL
    int* refcount;
    //ohter members

    …
};

    由于OpenCV 2对代码结构做了重新部署，所有的类和方法都定义在名字空间cv中，可以预定义名字空间：

using namespace cv

   跟一般的cpp程序一样，对于类的参数传递都采用引用传递方式，获得较好的效率。类都有自己的构造函数和析构函数，防止内存的泄漏。并且默认的拷贝构造函数采用的是shallow copy（浅拷贝），若需要deap copy（深拷贝）可求助于cv::Mat的copyTo()方法。这些东西都是cpp的基础知识

2 cv::Mat_

    cv::Mat_是一个模板类，声明在<opencv2/core/core.hpp>中。

template<typename _Tp> class CV_EXPORTS Mat_ : public Mat
{
public:

    //some specific methods
};

    由于cv::Mat类中含有很多模板方法，这些参数类型要到运行期才能确定，但是这种灵活性却使得简单的调用代码复杂，因此就有了cv::Mat_类来简化代码。如

cv::Mat image = cv::imread('img.jpg');
image.at<uchar>(j, i) = 255;

cv::Mat_<uchar> im2 = image;
im2(j, i) = 255;

    代码明显好看了。

3 Scanning an image

    以color Reduction操作为例，指针方式代码如下：

/**
* An example of color reduction for scanning an image with pointers
* div = 2^n
*
*/
void colorReduce(const cv::Mat& image, cv::Mat& result, int div)
{
    int nl = image.rows;
    int nc = image.cols * image.channels();

    if (image.isContinuous()) {
        nc = nc * nl;
        nl = 1;
    }

    int n = static_cast<int>(
        log(static_cast<double>(div)) / log(2.0));

    for (int j = 0; j < nl; j++) {
        // get the addresses of input and output row
        const uchar *data_in = image.ptr<uchar>(j); //give you the address of an image row
        uchar *data_out = result.ptr<uchar>(j);

        for (int i = 0; i < nc; i++) {
            
            //slowest
            data[i] = data[i] - data[i] % div + div / 2;
            //middle
            data[i] = data[i] / div * div + div / 2;
            //best
            uchar mask = 0xFF << n; //div = 16, n = 4, mask = 0xF0
            data_out[i] = (data_in[i] & mask) + div / 2; //data[i] - data[i] % div + div / 2
        }
    }
}

    （1）上面是采用Pointer方式进行遍历。调用cv::Mat类的模板方法ptr(int)获得图像矩阵的行指针。（2）三种不同效率的调用方式：slowest是由于两次读内存操作增加了时间；best通过位运算进行去尾操作，效率自然更高，但是必须限制为2的n次方。（3）由于是引用传递，若要保留输入图像image，则在输入参数中增加一个result用于保存输出图像。

    以下是更快的方式：

void colorReduce_f(cv::Mat& image, int div)
{
    int nl = image.rows;
    int nc = image.cols;

    if (image.isContinuous()) {
        nc = nc * nl;
        nl = 1;
    }

    int n = static_cast<int>(
        log(static_cast<double>(div)) / log(2.0));
    
    uchar mask = 0xff << n;

    for (int j = 0; j < nl; j++) {
        uchar *data = image.ptr<uchar>(j);
        
        for (int i = 0; i < nc; i++) {
            *data++ = *data & mask + div / 2;
            *data++ = *data & mask + div / 2;
            *data++ = *data & mask + div / 2;
        }    
    }
}

    其中，isContinuous()方法判断有没有额外的补零（如fft补零到2^n），如果是连续的，就可以直接当作一维数组来处理。另外，在每一个循环里连续执行三次以提高效率。（忘细里讲应该跟时空局部性原理有关）

    以下是迭代器方式：

void colorReduce_2(cv::Mat& image, int div)
{
    //obtain iterator
    cv::Mat_<cv::Vec3b>::iterator iter = 
        image.begin<cv::Vec3b>(); //a template method
    cv::Mat_<cv::Vec3b>::iterator iterd = 
        image.end<cv::Vec3b>(); //a template method

    //do not use template method, more efficient
    cv::Mat_<cv::Vec3b> cimage = image;
    cv::Mat_<cv::Vec3b>::iterator iter = cimage.begin();
    cv::Mat_<cv::Vec3b>::iterator iterd = cimage.end();


    for (; iter != iterd; ++iter) {
        (*iter)[0] = (*iter)[0] / div * div + div / 2;
        (*iter)[1] = (*iter)[1] / div * div + div / 2;
        (*iter)[2] = (*iter)[2] / div * div + div / 2;
    }
}

    这里给出了两种获得迭代器的方法：一种是直接调用cv::Mat的模板方法begin()和end()；另一种是通过cv::Mat_的begin()和end()。这一点跟stl库是兼容的。注意对于彩色图像，迭代器指向的cv::Vec3b类型的三元组。

4 Scanning an image with neighbor access

    方法还是用的指针，因为效率高，但基本的东西还是不变的，代码如下：

/**
*An example of Sharpen for scanning an image with neighbor access
*/
void sharpen(const cv::Mat& image2, cv::Mat& result)
{
    cv::Mat image;
    cv::cvtColor(image2, image, CV_BGR2GRAY);
    result.create(image.size(), image.type());

    for (int j = 1; j < image.rows - 1; j++) {

        const uchar* previous = 
            image.ptr<const uchar>(j - 1);
        const uchar* current = 
            image.ptr<const uchar>(j);
        const uchar* next = 
            image.ptr<const uchar>(j + 1);
        
        uchar* output = result.ptr<uchar>(j);

        for (int i = 1; i < image.cols - 1; i++) {
            
            *output++ = cv::saturate_cast<uchar> (
                5 * current[i] - current[i - 1]
                -current[i + 1] - previous[i] - next[i]);
        }
    }

    result.row(0).setTo(cv::Scalar(0));
    result.row(result.rows - 1).setTo(cv::Scalar(0));
    result.col(0).setTo(cv::Scalar(0));
    result.col(result.cols - 1).setTo(cv::Scalar(0));
}

     这是一个基于拉普拉斯算子的空间域锐化工作，模板(kernel)为一个3阶矩阵。这里用到了cv::cvtColor()函数，用于图像颜色空间的转换，在<opencv2/imgproc/imgproc.hpp>中声明。这里还用到了cv::saturate_cast()模板方法，保证得到的值是在有意义的值域范围内，比如消除滤波中的振铃效应等等。

     opencv中还提供了cv::filter2D()函数来实现二维滤波，估计采用的是fft2()的方法，当模板(kernel)较大时采用这个函数，代码如下：

void sharpen2D(const cv::Mat& image2, cv::Mat& result)
{
    cv::Mat image;
    cv::cvtColor(image2, image, CV_BGR2GRAY);
    result.create(image.size(), image.type());


    cv::Mat kernel(3, 3, CV_32F, cv::Scalar(0));
    
    kernel.at<float>(1, 1) = 5.0;
    kernel.at<float>(0, 1) = -1.0;
    kernel.at<float>(2, 1) = -1.0;
    kernel.at<float>(1, 0) = -1.0;
    kernel.at<float>(1, 2) = -1.0;

    //filter the image
    cv::filter2D(image, result, image.depth(), kernel);
}

    这里把模板就当成是一个图像（实际上负值是没有意义的）。关于滤波就有各种各样的点，只能到频域滤波在复习了。

5 Simple image arithmetic

    这里其实是opencv2提供的一些矩阵操作的函数。

    算术运算：cv::add(), cv::addWeighted(), cv::scaleAdd(); cv::subtract, cv::absdiff; cv::multiply; cv::divide， 还可以通过mask参数来掩模不需要处理的位。

    位运算：cv::bitwise_and, cv::bitwise_or, cv::bitwise_xor, cv::bitwise_not

    cv::max, cv::min

    其他运算：cv::sqrt, cv::pow, cv::abs, cv::cuberoot, cv::exp, cv::log

    上面这些函数都是针对矩阵的每一个元素对应操作的。更方便的是，矩阵的加减乘除、bitwise operators….都被重载了。inv()求逆、t()求转置、determinant()求行列式、norm()求范数、cross()求两个向量的叉乘、dot()求两个向量的点乘。

    当需要将一个多通道图像分离时，调用cv::split()方法，用一个std::vector来保存中间量，最后又可以调用cv::merge()方法合成，代码如下：

std::vector<cv::Mat> planes;
cv::split(image1, planes);
planes[0] += image2;
cv::merge(planes, result);

6 Region of interest

    直接上代码吧：

void addROI(cv::Mat& image, cv::Mat& logo)
{
    cv::Mat imageROI;
    imageROI = image(cv::Rect(385, 270, logo.cols, logo.rows));

    //基本的相加方式
    cv::addWeighted(imageROI, 1.0, logo, 3.0, 0., imageROI);
    //掩模方式，将logo有值的位置上的image值置零
    cv::Mat mask = cv::imread("..\\images\\logo.bmp", 0);
    logo.copyTo(imageROI, mask);
}

    在获取ROI时使用了cv::Rect类表示一个矩形框，包括偏移、大小属性。imageROI当然是in-place的引用方式，会改变输入图像的值。还有通过定义两个方向上的cv::Range来实现，都差不多。显然，操作符“()”是被重载的，返回一个子块。还可以通过行、列方式来指定，通过调用cv::Mat的rowRange()和colRange()方法。