自版本OpenCV2.2开始，OpenCV库便被划分为多个模块。这些模块编译成库文件后，位于lib文件夹中。
opencv_core模块，包含核心功能，尤其是底层数据结构和算法函数。
opencv_imgproc模块，包含图像处理函数。
opencv_highgui模块，包含读写函数及视频的函数，以及操作图形用户界面函数。
opencv_features2d模块，包含兴趣点检测子、描述子以及兴趣点匹配框架。
opencv_calib3d模块，包含相机标定、双目几何估算以及立体视觉函数。
opencv_video模块，包含运动估算、特征跟踪以及前景提取函数与类。
opencv_objdetect模块，包含物体检测函数，如脸部与行人检测。
库中还包含其他的工具模块，如机器学习（opencv_ml）、计算几何（opencv_flann）、第三方代码（opencv_contrib）、废弃的代码（opencv_legacy）及GPU加速过的代码（opencv_gpu）。这些模块都有一个单独的头文件(位于include文件夹)。