双目立体校正
计算机视觉课的第二次作业，使用给定的双目相机加标定板（纸）进行双目相机的标定+校正。
工具
qt5 + opencv4.4.0 + vs2019
程序设计
程序设计重心主要放在qt5的界面布局，槽与信号之间的传递等。
双目立体标定的程序在opencv中有一个单独的例子，可以直接拿来做参考。
（..opencvsourcessamplescppstereo_calib.cpp）
但是，想要运行成功，需要对程序进行一定的修改！
运行结果图：
整体使用上下两个group存放摄像机拍摄的画面和校正的画面，画面使用label组件进行显示。
一共设计六个按钮控制相机的打开关闭，标定校正，拍摄以及查询标定信息。
内参信息显示：
忽略右上角显示不全的logo（最新版本已经修改）
上框存放两个相机公共的信息，下面分别存放左右两个相机各自的信息。
注意点
相机的读取
老师发的双目相机需要分别读取两个摄像头，具体如下：
-
定义两个VideoCapture类
cv::VideoCapture capture_l; cv::VideoCapture capture_r; -
打开摄像头
capture_l.open(1); capture_r.open(0);非常奇怪的是，我这里的第1个摄像头是右摄像头，所以先读取的右边（1）后读取的左边（0）
-
测试摄像头是否正确打开
if (capture_l.isOpened() || capture_r.isOpened()) -
读取当前帧中
cv::Mat frame_l; cv::Mat frame_r; capture_l >> frame_l; capture_r >> frame_r; -
关闭相机
capture_l.release(); capture_r.release();
对于opecv的例子，需要进行一定的修改，具体如下：
-
需要删减的部分
(1) 原程序119行，由于例子中使用的是灰度图，所以添加了此句将灰度图转换为了RGB图，但使用自己的双目相机拍摄的为RGB图，如果加上这一句会报错。所以需要去掉。
cvtColor(img, cimg, COLOR_GRAY2BGR);同理还有304行的
cvtColor(rimg, cimg, COLOR_GRAY2BGR); -
需要修改的部分
(1) boardSize修改为自己标定板的内点，即下图圈出的点，类型为Size(x，y)为x方向的角点个数和y方向的角点个数。
(2) square修改为一个格子的边长宽度
但是这里经过测试发现了一个问题。程序里使用的是以cm做为单位，而网上对程序的评价则认为使用mm做为单位，即1还是10的问题。然而我经过测试，无论使用多少对程序的结果都没有影响？？
(3) clone()
Mat cimg = img；实际上cimg是img的引用，对cimg进行修改也就等于对img进行了修改。
所以drawChessboardCorners(cimg, boardSize, corners, found);这里对cimg画上了圈和线，也就是将原本的img进行了修改。程序的本意并不是这样， 仅仅只想对cimg进行画角点的标注。那么就需要将这句话修改为：
cv::Mat cimg = img.clone(); 使用clone()就只是得到了img的副本，而不是引用。
(4) 删除选项CALIB_SAME_FOCAL_LENGTH
在使用像素点和相机内参计算畸变稀疏和RTEF时，opencv已经提供了封装好的函数stereoCalibrate，这个函数需要传递一个CALIB_的选项，opencv的原例子里使用了CALIB_SAME_FOCAL_LENGTH即焦距相等，但会产生以下的问题：
虽然标定成功，但是校正出现了问题。
经过漫长的测试和怀疑自我，最终将问题锁定在CALIB_SAME_FOCAL_LENGTH这个选项上，将其去掉即可成功校正。
double rms = stereoCalibrate(objectPoints, imagePoints[0], imagePoints[1], cameraMatrix[0], distCoeffs[0], cameraMatrix[1], distCoeffs[1], imageSize, R, T, E, F, CALIB_FIX_ASPECT_RATIO + CALIB_ZERO_TANGENT_DIST + CALIB_USE_INTRINSIC_GUESS + CALIB_SAME_FOCAL_LENGTH + CALIB_RATIONAL_MODEL + CALIB_FIX_K3 + CALIB_FIX_K4 + CALIB_FIX_K5, TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 100, 1e-5) );！！！！注意！！！！
非常重要的一点，上述函数是有返回值的，返回double型的重投影误差，经过大量的数据测试，重投影误差一旦大于1.5以上时，几乎就无法正确校正，所以我在程序中设计了rms判断，一旦大于1.5的阈值直接跳出，提示用户重新拍摄。
对于qt5，需要注意以下部分。
-
qt5项目的正确创建
文件(longrightarrow)新建(longrightarrow)项目(longrightarrow)Qt Widgets Application(longrightarrow)创建
点击next后，注意这里的选项，一定要选择与Platform对应的。
-
槽函数的定义与使用
在vs中使用qt，与qtCreator最大的区别是无法直接转到槽函数，需要自己定义，具体步骤如下：
点击选项栏中的编辑信号/槽
默认是选择的Widget，需要在右边的查看器里点击添加槽函数的部件，然后点击向外拖动（注意不要拖到到其他组件上去，拖到空白的地方），由于程序比较简单，仅仅使用了点击事件，所以点击左边的clicked()，然后点击右边的编辑。
点击左下角的加号，写上自己定义的槽函数名称，点击OK。
然后在右边的框里选择刚才定义的函数，点击OK
操作之后在右下角的槽编辑器里可以看到刚刚关联的组件和槽函数
然后返回我们的类.h文件
在类内定义一个private slots专门存放槽函数，注意名称要与刚才创建的对应上。
然后进入cpp文件进行槽函数的具体实现即可
这里不需要再connect，因为刚才在ui里的操作实际上已经将按钮和槽connect起来了。
-
善用计时器QTimer
在程序里我设计了2秒一次显示校正后的图片和角点图片，如何实现这个功能呢？
使用了Qt自带的QTimer类。具体用法这里不多赘述，仅仅提供一个简单的思路：
定义一个指针型的QTimer变量
QTimer* timer_camera;在构造函数中使用Connect将QTimer和需要间隔调用的函数联系起来，比如我想每2秒调用一次readFrame函数：
timer_camera = new QTimer(this); connect(timer_camera, SIGNAL(timeout()), this, SLOT(readFrame()));然后需要在一个特定的函数中将timer触发（即开始）
程序中我点击打开相机后，每帧读取相机的画面输出到label中，因此在打开相机按钮的槽函数中设置timer的开启。
这里start()里的25是指间隔，1000为1s
timer_camera->start(25);当不需要继续调用时，需要关闭timer，我在关闭相机的槽函数在中进行关闭
timer_camera->stop(); -
不同窗口之间传递值
我将标定的值存放在Info类中，作为主窗口的私有成员变量，但是我想在新的窗口中显示这些值，就需要将主窗口的变量传递到子窗口中去，具体操作如下：
在主窗口的.h文件中定义sendInfo传递信号：
signals: void sendInfo(Info info);在子窗口中定义槽函数receiveInfo接收信号：
private slots: void receiveInfo(Info ifo);在主函数的构造函数中将两者连接：
connect(this, SIGNAL(sendInfo(Info)), CAMERA_INFO, SLOT(receiveInfo(Info)));在主窗口的查看信息的槽函数中进行传递，并显示子窗口
void CameraCalibrate::checkInfo() { emit sendInfo(info); CAMERA_INFO->show(); }在子窗口中实现receiveInfo函数
void CameraInfo::receiveInfo(Info info_) { info = info_; /// todo }这样就实现了不同窗口之间的值传递
-
锁定子窗口
在子窗口展示时，我想要锁定主窗口无法点击切换，一句话实现：
// 锁定窗口 this->setWindowModality(Qt::ApplicationModal); -
QString与其他类型的转换
该部分参考自：https://blog.csdn.net/qq_35223389/article/details/83112753
Qt的label里显示字符串是QString类型，如果是其他类型需要进行转换，具体如下：
(1) int 与 QString
//int转QString int a = 123456; QString b; b = QString::number(a,10,5);//QString::number(a,基底，精度) //方法2，利用arg（） int a = 123456; QString b = QString("%1").arg(a); //QString转int QString c = "123456"; int d; d = c.toInt();(2) double 与 QString
//double转QString double a = 123.456; QString b; b = QString::number(a,10,5);//同int //QString转double QString c = "123.456"; double d; d = c.toDouble();//类似int(3) string 与 QString
//string转QString string a = "123.456"; QString b; b = QString::fromStdString(a); //QString转string QString c = "123,456"; string d; d = c.toStdString(); -
调用控件
Q里调用设计的控件非常简单，直接使用ui.进行调用
例如设置关闭按钮不可用：
ui.close_btn->setEnabled(false); -
label显示图片
最重要的放在最后说！
首先是由于label的大小有限，需要将相机实时拍摄到的画面进行resize到与label同大小
然后定义一个QImage类，具体见下面的实现
然后将其变为QPixmap类显示在label上
// 可选项 cv::resize(frame, frame, cv::Size(xx, yy)); // 必写 QImage image = QImage((const uchar*)frame.data, frame.cols, frame.rows, QImage::Format_RGB888).rgbSwapped(); ui.label->setPixmap(QPixmap::fromImage(image));
问题
目前没有解决的问题是，由于我是使用A4纸打印的棋盘格单人测量，所以只能将A4纸放在桌面上，然后变换相机，但是在实际测试中，大多数时间都是拍摄好的数据集由于重投影误差过大( > 1.5，一般在13左右)无法使用，很奇怪。程序是正确的，opecncv的数据集跑的完全正确，但是自己拍摄的数据集，大部分时间都不可用，这个问题还需要进一步研究。
好消息是，终于不用再傻傻举着相机一举一上午了，解放了！
源码将会在之后发布。虽然程序非常简单，但是花了我四天时间：半天速学qt，半天写完，三天debug。