图像分割作为图像识别的基础,在图像处理中占有重要地位,通常需要在进行图像分割算法前找到轮廓或分割线,因此传统的分割算法主要集中在边缘检测、阈值处理等。
- 分水岭算法
分水岭算法是一种图像区域分割法,在分割的过程中,它会把跟临近像素间的相似性作为重要的参考依据,从而将在空间位置上相近并且灰度值相近的像素点互相连接起来构成一个封闭的轮廓,封闭性是分水岭算法的一个重要特征。其他图像分割方法,如阈值,边缘检测等都不会考虑像素在空间关系上的相似性和封闭性这一概念,彼此像素间互相独立,没有统一性。分水岭算法较其他分割方法更具有思想性,更符合人眼对图像的印象。
在上面的水岭算法示意图中局部极小值、积水盆地,分水岭线以及水坝的概念可以描述为:
1.区域极小值:导数为0的点,局部范围内的最小值点;
2.集水盆(汇水盆地):当“水”落到汇水盆地时,“水”会自然而然地流到汇水盆地中的区域极小值点处。每一个汇水盆地中有且仅有一个区域极小值点;
3.分水岭:当“水”处于分水岭的位置时,会等概率地流向多个与它相邻的汇水盆地中;
4.水坝:人为修建的分水岭,防止相邻汇水盆地之间的“水”互相交汇影响。
OpenCV中的watershed可以实现分水岭的功能,函数原型如下:
1 void watershed( InputArray image, InputOutputArray markers );
注意:第一个参数 image,必须是一个8bit 3通道彩色图像矩阵序列,可以将单通道图像进行扩充,比如OpenCV函数内置CV_GRAY2BGR函数可以将单通道图像扩展成三通道图像。
第二个参数,在执行分水岭函数watershed之前,必须对第二个参数markers进行处理,它应该包含不同区域的轮廓,每个轮廓有一个自己唯一的编号,轮廓的定位可以通过Opencv中findContours方法实现,这个是执行分水岭之前的要求。算法会根据markers传入的轮廓作为种子(也就是所谓的注水点),对图像上其他的像素点根据分水岭算法规则进行判断,并对每个像素点的区域归属进行划定,直到处理完图像上所有像素点。而区域与区域之间的分界处的值被置为“-1”,以做区分。
每一个线条代表了一个种子,线条的不同灰度值其实代表了对不同注水种子的编号,有多少不同灰度值的线条,就有多少个种子,图像最后分割后就有多少个区域。
传入watershed中的makers图像如下图所示:
findcountours后寻找的轮廓如下图所示:
从上面两幅图中我们从图像底部往上,线条的灰度值是越来越高的,并且merkers图像底部部分线条的灰度值由于太低,已经观察不到了,但相互连接在一起的线条灰度值是一样的。
1 #include "opencv2/imgproc/imgproc.hpp" 2 #include "opencv2/highgui/highgui.hpp" 3 4 #include <iostream> 5 6 using namespace cv; 7 using namespace std; 8 9 Vec3b RandomColor(int value); //生成随机颜色函数 10 11 int main( int argc, char* argv[] ) 12 { 13 Mat image=imread(argv[1]); //载入RGB彩色图像 14 imshow("Source Image",image); 15 16 //灰度化,滤波,Canny边缘检测 17 Mat imageGray; 18 cvtColor(image,imageGray,CV_RGB2GRAY);//灰度转换 19 GaussianBlur(imageGray,imageGray,Size(5,5),2); //高斯滤波 20 imshow("Gray Image",imageGray); 21 Canny(imageGray,imageGray,80,150); 22 imshow("Canny Image",imageGray); 23 24 //查找轮廓 25 vector<vector<Point>> contours; 26 vector<Vec4i> hierarchy; 27 findContours(imageGray,contours,hierarchy,RETR_TREE,CHAIN_APPROX_SIMPLE,Point()); 28 Mat imageContours=Mat::zeros(image.size(),CV_8UC1); //轮廓 29 Mat marks(image.size(),CV_32S); //Opencv分水岭第二个矩阵参数 30 marks=Scalar::all(0); 31 int index = 0; 32 int compCount = 0; 33 for( ; index >= 0; index = hierarchy[index][0], compCount++ ) 34 { 35 //对marks进行标记,对不同区域的轮廓进行编号,相当于设置注水点,有多少轮廓,就有多少注水点 36 drawContours(marks, contours, index, Scalar::all(compCount+1), 1, 8, hierarchy); 37 drawContours(imageContours,contours,index,Scalar(255),1,8,hierarchy); 38 } 39 40 //我们来看一下传入的矩阵marks里是什么东西 41 Mat marksShows; 42 convertScaleAbs(marks,marksShows); 43 imshow("marksShow",marksShows); 44 imshow("轮廓",imageContours); 45 watershed(image,marks); 46 47 //我们再来看一下分水岭算法之后的矩阵marks里是什么东西 48 Mat afterWatershed; 49 convertScaleAbs(marks,afterWatershed); 50 imshow("After Watershed",afterWatershed); 51 52 //对每一个区域进行颜色填充 53 Mat PerspectiveImage=Mat::zeros(image.size(),CV_8UC3); 54 for(int i=0;i<marks.rows;i++) 55 { 56 for(int j=0;j<marks.cols;j++) 57 { 58 int index=marks.at<int>(i,j); 59 if(marks.at<int>(i,j)==-1) 60 { 61 PerspectiveImage.at<Vec3b>(i,j)=Vec3b(255,255,255); 62 } 63 else 64 { 65 PerspectiveImage.at<Vec3b>(i,j) =RandomColor(index); 66 } 67 } 68 } 69 imshow("After ColorFill",PerspectiveImage); 70 71 //分割并填充颜色的结果跟原始图像融合 72 Mat wshed; 73 addWeighted(image,0.4,PerspectiveImage,0.6,0,wshed); 74 imshow("AddWeighted Image",wshed); 75 76 waitKey(); 77 } 78 79 Vec3b RandomColor(int value) <span style="line-height: 20.8px; font-family: sans-serif;">//生成随机颜色函数</span> 80 { 81 value=value%255; //生成0~255的随机数 82 RNG rng; 83 int aa=rng.uniform(0,value); 84 int bb=rng.uniform(0,value); 85 int cc=rng.uniform(0,value); 86 return Vec3b(aa,bb,cc); 87 }
按照分水岭算法对下图进行分割:
对上图进行分水岭分割后发现结果并不好:
原因是很多目标物体距离太近,findcountours后导致无法分离,分水岭的注水点太少,因此应该先将目标物体分离,可以考虑腐蚀等形态学操作,这里采用距离变换来细化目标物体的大小,从而分离目标,增加分水岭注水点。
- 距离变换/distanceTransform函数
distanceTransform方法用于计算图像中每一个非零点距离离自己最近的零点的距离,distanceTransform的第二个Mat矩阵参数dst保存了每一个点与最近的零点的距离信息,图像上越亮的点,代表了离零点的距离越远。可以根据距离变换的这个性质,经过简单的运算,用于细化字符的轮廓。
1 Mat imageThin(imageGray.size(),CV_32FC1); //定义保存距离变换结果的Mat矩阵 2 distanceTransform(imageGray,imageThin,CV_DIST_L2,3); //距离变换 3 Mat distShow; 4 distShow=Mat::zeros(imageGray.size(),CV_8UC1); //定义细化后的字符轮廓 5 for(int i=0;i<imageThin.rows;i++) 6 { 7 for(int j=0;j<imageThin.cols;j++) 8 { 9 if(imageThin.at<float>(i,j)>maxValue) 10 { 11 maxValue=imageThin.at<float>(i,j); //获取距离变换的极大值 12 } 13 } 14 } 15 for(int i=0;i<imageThin.rows;i++) 16 { 17 for(int j=0;j<imageThin.cols;j++) 18 { 19 if(imageThin.at<float>(i,j)>maxValue/1.9) 20 { 21 distShow.at<uchar>(i,j)=255; //符合距离大于最大值一定比例条件的点设为255 22 } 23 } 24 }
对毛毡柱的灰度图进行距离变换,结果如下图:
对距离变换之后的图像进行findcontours,距离变换,结果如下图:
结果显示,基于标记的分水岭比传统分水岭的分割效果要好很多。