multi view stereo文档
该文档总结了使用笔者multi view stereo (MVS)的方法对相机进行rectify, 生成深度图的过程， 希望能给之后的同学一些帮助。
MVS简介
Multi View Stereo, 是对于多视图三维重建一系列方法的总称， 简而言之， 就是利用多个相机拍摄的多张照片， 来重建出照片中的场景。
学习multi view stereo的流程有以下一些经典的资源, 可以点击下面表格里的链接进行下载。
| 内容 | 描述 |
|---|---|
| multiview stereo a tutorial | mutli view stereo的经典教程， 强烈推荐阅读。 |
| pixelwise... MVS | colmap团队写的论文 |
| structure from motion | 理解structure from motion非常好的材料， 一本书中的一个章节， 专门介绍sfm |
完整的multi view stereo pipeline 会有以下的步骤
- input images
- structure from motion(SFM) => camera parameters, sparse point cloud
- Muti view stereo(MVS) => depth map, dense point cloud
- Surface reconstruction(SR) => poisson or delauny reconstruction, mesh
- texture mapping(TM）=> get mesh with texture
sfm的流程可以用一下这张图来表示
MVS工具链
几种开源工程的总结
如前文所述， MVS pipeline主要有四个步骤， SFM， MVS， SR和TM， 这几个步骤分别有以下的开源工具可以参考, 点击链接可以直接转到相应工程中
-
SFM:
- visual sfm 非常robust的sfm工具， window下可以直接下载打包好的binary, mac和Linux下如果手动编译比较复杂（非常不推荐手工编译， 笔者在这个问题上卡了好几天， 妥协下用windows也是不错的选择）
- open MVG 笔者没有跑过这个工程， 效果未知， 可以之后尝试
- colmap 界面简洁好用， 但是只能在windows下装好cuda才可以使用dense reconstruction， 推荐使用
-
MVS
-
SR && TM
-
Default 一般visual sfm, colmap都自带了SR， TM的工具， 可以用默认的工具
-
meshlab 提供了mesh simplify, smooth, SR等mesh相关的功能， 对于triangular mesh有很好的结果。 建议初学者下载meshlab安装包使用， 如果想deep dive细节， 可以下载vcglib(mesh lab基于这个lib开发的)， 编译源码， vcglib用了很多元编程的理念， 还是很好玩的， 不过流程比较复杂， 慎入。
-
colmap教程
在这个章节中， 笔者介绍colmap的使用教程。
installation
colmap建议下载pre built binary， 是十分稳定的， 如果想要用dense reconstruction， 请自行安装cuda。
mac系统请点击 macos
windows系统请点击 windows
点完后直接运行， 安装完成。
structure from motion
colmap的流程如下图
第一步是sfm, 需要把所有输入的图片放到一个文件夹下， 然后点击
进行特征提取和匹配， 提取后的结果可以在database management中进行可视化。
之后点击start reconstruction和bundle adjustment进行稀疏重建。
值得一提的是， 在extras->model statistic里有重投影误差等评判相机参数好坏的参数， 一般比较好的结果在0.5一下。
export model and rectify
在进行稀疏重建后， 可以把model导出到txt文件里。
包括了
- 相机参数
- 特征点
- 3d点云信息
可以通过scripts 里提供的脚本读取相应参数。
如果需要进一步rectify, 可以把参数输入opencv的stereoRectify()函数， 之后initUndistortRecifyMap(), 最后使用remap() 进行rectify。
dense reconstruction and depth map
在下面的界面中按照undistoriont, stereo, fusion ,poisson的流程进行重建
dense reconstruction的深度图由上图所示， 对于texture不是很丰富的图片， 建议增加 windows_radius和降低filter_min_ncc来提升深度图的准确度。
PMVS教程
PMVS可以参考这篇博客安装https://blog.csdn.net/moneyhoney123/article/details/78454837
需要注意的一个坑点是， 如果图片太少， 会报pmvs2 crash not enough memory需要修改PMVS的配置文件nv.ini, 把minImageNum改为2