opencv学习笔记-图像叠加、混合

在图像处理中，目标区域定义为感兴趣区域ROI(region of Interest)，这是后期图像处理的基础，在获取ROI后，进行一些列的处理。ROI区域在Opencv中就是Rect，先构建Rect，然后给予ROI一些特点，形成了图像掩膜。

一、ROI创建

//定义一个Mat类型并给其设定ROI区域

Mat imageROI;

//方法一

imageROI=image(Rect(500,250,logo.cols,logo.rows));
//方法二 
imageROI=Image(Range(250,250+logoImage.rows),Range(200,200+logoImage.cols));

代码中定义了一个Mat类型，是一种类似指针的引用，然后指向Image（Mat）中制定区域，这样就创建了一个ROI区域，这个区域在Image中。

二、图像掩膜

图像掩膜，在ROI区域中导入一张图像，然后在image中进行加载

Mat Image1= imread("dota_pa.jpg"); 
//定义一个Mat类型并给其设定ROI区域  ，指向Image中坐标点200,250，长宽为cols和rows
       Mat imageROI= Image1(Rect(200,250,logoImage.cols,logoImage.rows));  
   
       //加载掩模（必须是灰度图）  
       Mat mask= imread("dota_logo.jpg",0);  
   
       //将掩膜拷贝到ROI  
       logoImage.copyTo(imageROI,mask);

三、线性混合

线性混合就是，对两幅图像（f0（x）和f1（x））或两段视频（同样为（f0（x）和f1（x））产生时间上的画面叠化（cross-dissolve）效果，就像幻灯片放映和电影制作中的那样。函数表示为：

1、opencv函数-addWeighted函数

void addWeighted(InputArray src1, double alpha, InputArray src2, double beta, double gamma, OutputArray dst, int dtype=-1);  
//第一个参数，InputArray类型的src1，表示需要加权的第一个数组，常常填一个Mat。
//第二个参数，alpha，表示第一个数组的权重
//第三个参数，src2，表示第二个数组，它需要和第一个数组拥有相同的尺寸和通道数。
//第四个参数，beta，表示第二个数组的权重值。
//第五个参数，dst，输出的数组，它和输入的两个数组拥有相同的尺寸和通道数。
//第六个参数，gamma，一个加到权重总和上的标量值。看下面的式子自然会理解。
//第七个参数，dtype，输出阵列的可选深度，有默认值-1。;当两个输入数组具有相同的深度时，个参数设置为-1（默认值），即等同于src1.depth（）。dst = src1 

addWeighted函数计算如下两个数组（src1和src2）的加权和，得到结果输出给第四个参数。即addWeighted函数的作用可以被表示为为如下的矩阵表达式为： dst = src1[I]*alpha+ src2[I]*beta + gamma;

2、实例代码

//【1】读取图像  
       Mat srcImage4= imread("dota_pa.jpg",1);  
       Mat logoImage= imread("dota_logo.jpg");  
   
       if(!srcImage4.data ) { printf("你妹，读取srcImage4错误~！ 
"); return false; }  
       if(!logoImage.data ) { printf("你妹，读取logoImage错误~！ 
"); return false; }  
   
       //【2】定义一个Mat类型并给其设定ROI区域  
       Mat imageROI;  
              //方法一  
       imageROI=srcImage4(Rect(200,250,logoImage.cols,logoImage.rows));  
       
       //【3】将logo加到原图上  ，利用线性混合构建掩膜，其中logo权重是0.3，原图中的ROI区域图像是0.5
       addWeighted(imageROI,0.5,logoImage,0.3,0.,imageROI);  
   
       //【4】显示结果  
       namedWindow("<4>区域线性图像混合示例窗口 by浅墨");  
       imshow("<4>区域线性图像混合示例窗口 by浅墨",srcImage4);  
        
       return true;

四、多通道颜色混合

彩色图像是三通道图像，当然灰度图像是单通道图像，在图像应用中需要对某一通道混合，或者几个通道颜色混合，这就是多通道颜色混合。在多通道颜色混合应用中在opencv需要split函数和merge函数。

1、分离颜色通道

C++: void split(const Mat& src, Mat*mvbegin);

C++: void split(InputArray m,OutputArrayOfArrays mv);
//第一个参数，InputArray类型的m或者const Mat&类型的src，填我们需要进行分离的多通道数组。
//第二个参数，OutputArrayOfArrays类型的mv，填函数的输出数组或者输出的vector容器

split函数分割多通道数组转换成独立的单通道数组，按公式来讲：

class CV_EXPORTS _OutputArray : public_InputArray
{
public:
   _OutputArray();
 
   _OutputArray(Mat& m);
   template<typename _Tp> _OutputArray(vector<_Tp>& vec);
   template<typename _Tp> _OutputArray(vector<vector<_Tp>>& vec);
   _OutputArray(vector<Mat>& vec);
   template<typename _Tp> _OutputArray(vector<Mat_<_Tp>>& vec);
   template<typename _Tp> _OutputArray(Mat_<_Tp>& m);
   template<typename _Tp, int m, int n> _OutputArray(Matx<_Tp, m,n>& matx);
   template<typename _Tp> _OutputArray(_Tp* vec, int n);
   _OutputArray(gpu::GpuMat& d_mat);
   _OutputArray(ogl::Buffer& buf);
   _OutputArray(ogl::Texture2D& tex);
 
    _OutputArray(constMat& m);
   template<typename _Tp> _OutputArray(const vector<_Tp>&vec);
   template<typename _Tp> _OutputArray(constvector<vector<_Tp> >& vec);
   _OutputArray(const vector<Mat>& vec);
   template<typename _Tp> _OutputArray(const vector<Mat_<_Tp>>& vec);
   template<typename _Tp> _OutputArray(const Mat_<_Tp>& m);
   template<typename _Tp, int m, int n> _OutputArray(constMatx<_Tp, m, n>& matx);
   template<typename _Tp> _OutputArray(const _Tp* vec, int n);
   _OutputArray(const gpu::GpuMat& d_mat);
   _OutputArray(const ogl::Buffer& buf);
   _OutputArray(const ogl::Texture2D& tex);
 
   virtual bool fixedSize() const;
   virtual bool fixedType() const;
   virtual bool needed() const;
   virtual Mat& getMatRef(int i=-1) const;
   /*virtual*/ gpu::GpuMat& getGpuMatRef() const;
   /*virtual*/ ogl::Buffer& getOGlBufferRef() const;
   /*virtual*/ ogl::Texture2D& getOGlTexture2DRef() const;
   virtual void create(Size sz, int type, int i=-1, bool allowTransposed=false,int fixedDepthMask=0) const;
   virtual void create(int rows, int cols, int type, int i=-1, boolallowTransposed=false, int fixedDepthMask=0) const;
   virtual void create(int dims, const int* size, int type, int i=-1, boolallowTransposed=false, int fixedDepthMask=0) const;
   virtual void release() const;
   virtual void clear() const;
 
#ifdefOPENCV_CAN_BREAK_BINARY_COMPATIBILITY
   virtual ~_OutputArray();
#endif
};

上面函数讲解是OutputArray类原型，其中是模板类为主，注意类对象的创建。

split函数应用

vector<Mat> channels;
Mat imageBlueChannel;
Mat imageGreenChannel;
Mat imageRedChannel;
srcImage4= imread("dota.jpg");
// 把一个3通道图像转换成3个单通道图像
split(srcImage4,channels);//分离色彩通道
imageBlueChannel = channels.at(0);
imageGreenChannel = channels.at(1);
imageRedChannel = channels.at(2);

载入的3通道图像转换成3个单通道图像，放到vector<Mat>类型的channels中，接着进行引用赋值。

根据OpenCV的BGR色彩空间（bule，Green，Red，蓝绿红），其中channels.at(0)就表示引用取出channels中的蓝色分量，channels.at(1)就表示引用取出channels中的绿色色分量，channels.at(2)就表示引用取出channels中的红色分量。

2、图像混合

图像混合中通过组合一些给定的单通道数组，将这些孤立的单通道数组合并成一个多通道的数组，从而创建出一个由多个单通道阵列组成的多通道阵列。

merge()函数的功能是split()函数的逆向操作，将多个数组组合合并成一个多通道的数组。

C++: void merge(const Mat* mv, size_tcount, OutputArray dst)
C++: void merge(InputArrayOfArrays mv,OutputArray dst)
//第一个参数，mv，填需要被合并的输入矩阵或vector容器的阵列，这个mv参数中所有的矩阵必须有着一样的尺寸和深度。
//第二个参数，count，当mv为一个空白的C数组时，代表输入矩阵的个数，这个参数显然必须大于1.
//第三个参数，dst，即输出矩阵，和mv[0]拥有一样的尺寸和深度，并且通道的数量是矩阵阵列中的通道的总数。

五、图像混合综合代码及解析

//-----------------------------------【程序说明】----------------------------------------------
//  程序名称:：【OpenCV入门教程之四】分离颜色通道&多通道图像混合   配套源码 
// VS2010版   OpenCV版本：2.4.8
//     2014年3月13 日 Create by 浅墨
//  图片素材出处：dota2原画 dota2logo  
//     配套博文链接：http://blog.csdn.net/poem_qianmo/article/details/20537737
//     浅墨的微博：@浅墨_毛星云
//------------------------------------------------------------------------------------------------

//-----------------------------------【头文件包含部分】---------------------------------------
//    描述：包含程序所依赖的头文件
//----------------------------------------------------------------------------------------------   

#include <cv.hpp>
#include <highgui.hpp>
#include <iostream>

//-----------------------------------【命名空间声明部分】---------------------------------------
//    描述：包含程序所使用的命名空间
//-----------------------------------------------------------------------------------------------   
using namespace cv;
using namespace std;


//-----------------------------------【全局函数声明部分】--------------------------------------
//    描述：全局函数声明
//-----------------------------------------------------------------------------------------------
bool  MultiChannelBlending();

//-----------------------------------【main( )函数】--------------------------------------------
//    描述：控制台应用程序的入口函数，我们的程序从这里开始
//-----------------------------------------------------------------------------------------------
int main(   )
{
    system("color 5E");

    if(MultiChannelBlending( ))
    {
        cout<<endl<<"嗯。好了，得出了你需要的混合值图像~";
    }

    waitKey(0);
    return 0;
}


//-----------------------------【MultiChannelBlending( )函数】--------------------------------
//    描述：多通道混合的实现函数
//-----------------------------------------------------------------------------------------------
bool  MultiChannelBlending()
{
    //【0】定义相关变量
    Mat srcImage,greSrcImage,redSrcImage;    
    Mat logoImage;
    vector<Mat> channels;
    Mat  imageBlueChannel;
    //【0】定义相关变量
    Mat  imageGreenChannel;
    //【0】定义相关变量
    Mat  imageRedChannel,redTempImage,greTempImage,blueTempImage;

    //=================【蓝色通道部分】=================
    //    描述：多通道混合-蓝色分量部分
    //============================================

    // 【1】读入图片
    logoImage= imread("dota_logo.jpg",0);
    srcImage= imread("dota_jugg.jpg");

    if( !logoImage.data ) { printf("Oh，no，读取logoImage错误~！ 
"); return false; }
    if( !srcImage.data ) { printf("Oh，no，读取srcImage错误~！ 
"); return false; }
    srcImage.copyTo(greSrcImage);
    srcImage.copyTo(redSrcImage);
    //【2】把一个3通道图像转换成3个单通道图像
    split(srcImage,channels);//分离色彩通道

    //【3】将原图的蓝色通道引用返回给imageBlueChannel，注意是引用，相当于两者等价，修改其中一个另一个跟着变
    imageBlueChannel= channels.at(0);
    //这是引用，指向channels，后面调用clear，这样数据清空了
    //imageGreenChannel = channels.at(1);    
    
    

    ////展示单通道图像
    //imshow("单通道蓝色图像",imageBlueChannel);
    //imshow("单通道红色图像",imageRedChannel);
    //imshow("单通道绿色图像",imageGreenChannel);    

    //【4】将原图的蓝色通道的（500,250）坐标处右下方的一块区域和logo图进行加权操作，将得到的混合结果存到imageBlueChannel中
    addWeighted(imageBlueChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0,
        logoImage,0.5,0,imageBlueChannel(Rect(500,250,logoImage.cols,logoImage.rows)));
    imshow("加载log后的蓝色图像",imageBlueChannel);

    //【5】将三个单通道重新合并成一个三通道
    merge(channels,srcImage);

    //【6】显示效果图
    
    imshow(" 游戏原画+logo蓝色通道",srcImage);


    //=================【绿色通道部分】=================
    //    描述：多通道混合-绿色分量部分
    //============================================
//    imshow("绿色图像原图像",greSrcImage);
    //因为同道中蓝色通道已经加载logo进去，所以此时logo会有变化的，重新分离通道
    channels.clear();
    split(greSrcImage,channels);
    imageGreenChannel = channels.at(1);    
    //【4】将原图的绿色通道的（500,250）坐标处右下方的一块区域和logo图进行加权操作，将得到的混合结果存到imageGreenChannel中
    addWeighted(imageGreenChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0,
        logoImage,0.5,0.,imageGreenChannel(Rect(500,250,logoImage.cols,logoImage.rows)));

    //【5】将三个独立的单通道重新合并成一个三通道,如果继续这样，因为同道中蓝色通道已经加载logo进去，所以此时logo会有变化的
    merge(channels,greSrcImage);
    
    

    //【6】显示效果图    
    imshow("<2>游戏原画+logo绿色通道",greSrcImage);



    //=================【红色通道部分】=================
    //    描述：多通道混合-红色分量部分
    //============================================
    channels.clear();
        split(redSrcImage,channels);
        imageRedChannel = channels.at(2);    
    //【4】将原图的红色通道的（500,250）坐标处右下方的一块区域和logo图进行加权操作，将得到的混合结果存到imageRedChannel中
    addWeighted(imageRedChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0,
        logoImage,0.5,0.,imageRedChannel(Rect(500,250,logoImage.cols,logoImage.rows)));

    //【5】将三个独立的单通道重新合并成一个三通道
    merge(channels,redSrcImage);

    //【6】显示效果图    
    imshow("<3>游戏原画+logo红色通道",redSrcImage);

    return true;
}

六、结果分析

1、上述代码中有ROI，就是创建感兴趣区域，在代码中直接用addweight函数直接完成了，实现mask的创建，是在SrcImage中ROI通过加权，将想要的图像加载其中，实现mask的创建。

2、代码中对split和merge进行演示、讲解，split函数用于获取单通道图像，程序中对单通道图像进行展示，发现单通道图像都是灰度图像，只是各个单通道图像亮度不同，说明了在彩色图像中red各占的比例大小。同时对于进行mask处理后的图像进行展示，当然也是灰度图像。

3、程序中分别是在srcImage中获取到红绿蓝的logo进行处理，就是先将需要的通道获取到，将logo按照一定比例添加其中（通道图像权重要高一点，才能让在roi中夜色占据主动），然后再合并。

4、程序一定注意到mat类型的应用，在程序大部分操作时引用，要记得保留未修改的数据。