大话成像视频教程第一套
Maver Jiang
高思成像科技
1 数字成像系统概论
成像系统组成
- 光源
- 光学
- 机械
- 半导体
- 处理器
两条基本主线
- 图像重建
- 色彩重建
颜色科学
成像系统的实时控制——3A
- 系统的静态参数
- 自动曝光
- 自动对焦
- 自动白平衡
- 系统的动态参数
同样价格产品，每个厂家拿到的东西都差不多，但是如果想效果好，需要在软件上调。
成像系统仿真
- 实时仿真系统
- 离线仿真系统
成像系统的评价
- 系统延迟
- 图像质量
公司
2 CMOS sensor基础
构造
sensor floorplan
光遮断 Optical Black
Active Pixels/Driver
光子（Photon）与量子效率
QE（quantum efficiency）：量子效率。
- QE衡量某个颜色通道某个频率/波长的光子转换成电子的效率。
- IR cutter——cut near IR
- Crosstalk：R/G/B通道的感光分开最好。
- Sensitivity 感光度=QE x Pixel_Size
感光过程
- 充电——reset
- 感光
- 放电
读取过程
E->V —— Analog Gain放大 —— ADC
Total_time = reset_time + exposure_time + readout_time
Sensor动态范围
- Full Well Capacity
- Dark Current
- Fill Factor
Dynamic Range = Saturation / black level
井越深越大感光越好？容纳光子越多
Sensor时序
Noise in Sensor
- 时域噪声：KTC Noise（readout），PhotonShotNoise，DarkCurrentNoise，电源噪声
- 空域噪声：DefectPixel，Row/Column Noise，PRNU，DSNU
Crosstalk对noise的影响
3 颜色科学基础
成像工业涉及的：
- 颜色科学的基本要素
- 光源
- 色度
- 色差
- 色彩空间
- 色彩与视觉
颜色科学的三个基本要素：
- 光源——发出光
- 物体——反射光
- 感受者（相机/人）——接收光
Light光源：
- 自然光：Daylight = Sunlight + skylight，Nightlight = moonlight + startlight
- 人造光：白炽灯，钨灯，卤素灯，荧光灯……
概念：
- Luminance：描述发射或者反射多少光，单位nit或者cd/m2。
- Illuminance：描述落在一个表面多少光，单位lux。
光源的属性：
- 色温CCT：与光源不一一对应。
- 光谱spectrum或者SPD：与光源一一对应。
- 白点：与光源一一对应。
CIE标准光源
- A
- D65
- F
- ……
开尔文色温
光源的演色性：演色性越好的光源，越能照出物体本身的颜色。
颜色的感知/测量
反射率曲线x光源光谱x接收响应曲线=颜色值
CIE：
色彩空间color space：
- CIE XYZ
- CIE RGB
- sRGB
- YUV
- ……
对比度
Hue 色度 色调
饱和度
亮度
Saturation
色差
Color reproduction in camera pipeline
- RAW：BLC，LSC，WB
- RGB：CFAI
- sRGB BT 709……：CCM
- sRGB BT 709……：GAMMA
- YCbCr：CSM
色彩与视觉
Color Constancy色彩恒常性
Color Appearance model色彩还原？
理想的色貌模型就是把所有颜色都映射到与视觉一致。
Memory Color记忆色
- 肤色是粉橙色的
- 草地和夏天的树都是绿色的
- 蓝天是蓝色的
- 血液是红色的
- 香蕉是黄色的
- ……
参考
标准光源_百度百科
https://baike.baidu.com/item/标准光源
色彩空间 - 维基百科，自由的百科全书
https://zh.wikipedia.org/wiki/色彩空間
4 光学Optics基础
重要概念：
- reflection反射
- refraction折射
- aperture光圈
- f-number，focal length
- CoC, Depth of field景深
- Tele， macro，Zoom
- ……
球面折射sphere refraction
最简聚焦系统
牛顿，理想透镜、薄透镜公式
- s：物距
- s'：像距
- x：物距减焦距（s≈x）
- x'：像距减焦距
- F：焦距
- m：线性放大率
- Y：物高
- Y'：像高
5 数字图像信号处理基础
图像的数字化与定点数，浮点数
定点数是整数，浮点数是小数。
练习：图像读取
Matlab Image Tool， 读raw
直方图/积分直方图/图像的直方图均衡
- 直方图histogram
- 直方图Cumulative histogram
Mean Brightness
contrast
查找表lookup table
thresholding
查找表练习：取反
Filter convolution：滤波卷积
- 原图
- 边缘
- 锐化
- 模糊
Filter练习：低通，高通滤波器
图像滤波
6 3A系统概述
先了解摄影，再去研究3A
热爱摄影，才从事这个行业
《美国纽约摄影学院摄影教材》
广义3A包括狭义3A和一些其他的
iris光圈
3A配合的传感器
- sensor
- 加速度
- 陀螺仪
- 温度
- 光源
- PD
- 深度
- 激光
- GPS
- 光
离散控制系统
AEC自动白平衡控制
惯性、延迟等等因素影响控制。开环、闭环
非线性响应，a超调量，b稳态偏差，t拍数
3A运行在CPU
7 黑电平与线性化
sensor——黑电平——降噪——白平衡——CFA——……
Optically black region，sensor上完全遮蔽的部分，一般在四周。
output=input-black level
Gain by gain histogram
线性化的测量，写了一个matlab工具。
线性化曲线与矫正
线性化不良的分析
8 Green Imbalance
Ming Yan
绿不平衡
成因：半导体，microlens
像湄公河一样弯曲的噪点。
分布特征与影响的因素：光圈，焦距
如何评价Green Imbalance
Flat Field:
练习：用matlab求一幅图像的整体green imbalance的程度
Green Imbalance静态校正
动态校正
9 坏点消除
DPC
原因：
- 工艺：灰尘、寿命
- noise：sensor gain增大，温度增高等。
坏点的类型：
- 静态坏点：不会随时间、增益等改变
- 动态坏点：会随时间变化
- hot pixel：比周围亮
- dead pixel：
- weak pixel：
- 单坏点
- 双坏点：
- 多坏点
指的是单通道上相邻坏点的数量。
坏点算法评价指标：
- 不能损失原有图像细节
- 能够去除所有的坏点
- 不能引起artifact
静态坏点消除
一般在sensor或模组产线上进行标定，将坏点位置写入OTP。
产线上遮黑 全白等——统计出坏点位置——写入OTP——从OTP读取坏点位置——修正坏点
动态坏点检测
一种典型的坏点检测方法
比周围点平均值偏大或偏少
pipeline
动态坏点修正
一种典型的坏点修正方法
a.最简单的，中值滤波。
b.根据边缘情况，选择进行均值滤波的像素点。
corner case
- noise的影响。高噪声。坏点矫正调试时根据ISO进行调试。
- 高亮的孤立点。例如LED点阵灯等。
- 分辨率卡等。
10 Shading
原因：
- Mechanical vignetting机械安装：luma shading 安装、遮挡
- Optical vignetting
- lens shading
镜片各位置和中心的透射率不同 luma shading 亮度
lens对不同光谱的shift不同 color shading
- IR filter color shading
- sensor vignetting
主光轴不同、sensor各部分的对光的转换不同
不管哪个原因，结果都是中心和周围颜色不同。
结论：
- 对于定光圈镜头来讲，色温时影响color shading的主要因素，luma shading变化都比较小。
- 任何shading，都可以通过当前像素乘以gain的方式来进行校正。
Shading的评测方法
简答的认为shading只和色温有关系。
- 测试各色温下Y1~Y5。
- 测试各个区域。
Shading correction的难点
- 各模组之间存在差异。解决方法：OTP和自适应shading矫正。
- 和awb之间相互影响。解决方法：OTP；自适应shading矫正；自适应+改进awb。
- 特殊色温。解决方法：自适应+改进awb。
- 噪声变大。解决方法：在ISO高时，减少shading correction的力度。
Shading correction的几种模型和方法
- radial shading correct。最简单， 老方法。
- mesh shading渔网格。a.线性插值;b.用logN或多次方程拟合。应用最多的方法。
- auto shading correction。和AE或AWB共享统计模块，或单独做一个统计模块；用已标定好的色温，应用于统计值，取最小shading的色温。
11 SNR与Raw Denoise
主要降噪模块放在raw domain。另外有yuv domain。。
Raw Domain噪声特性
demosaic后的噪声：结构化噪声
根据raw domain的特性得到的raw denoise的相关启发
- raw domain的噪声不是单纯的高斯噪声，
- ……
降噪的评价标准
- PSNR：峰值信噪比
- SNR：信噪比
SNR的标准是：dB越高，降噪程度越好。
一般会出现两种问题：
- SNR好并不能代表真实的视觉噪声。
- SNR好并不能代表最终图像质量好。可能会过度涂抹。
中低频被过度模糊
降噪时要关注中低频的噪声。枯叶图。
同样的方差，可能有完全不同的视觉效果。
visual noise（ISO 15739）
人眼对彩噪声和亮度噪声敏感不一样。
CPIQ
频率高的保护好，频率低的糊了？频率高是什么？
12 Dynamic Range与Tone Mapping
Dynamic Range动态范围
定义：
DR=up.sat/up.min
up.min最小值并不是black level，一般是SNR20时的。
如果换成dB的表示，需要加log10.
Tone Mapping
动态范围压缩
单位：candela/m2
- 传统显示屏 100：1 cd/m2
- 真实世界 100000000：1 cd/m2
- 人眼 10000：1 cd/m2
定义：高比特转到低比特，但视觉上无损。
JND理论
HDR图像的来源：
- a. 高bit HDR sensor
- b. 多曝光。不同曝光值和相同曝光值。
- c. alternate row、zigzag HDR等
Tone Mapping的分类：
- global tone mapping。a.单一tone mapping曲线。双边滤波tone mapping。
- local tone mapping。虚拟曝光；local gamma。
问题：
- 局部对比度的缺失。
- 饱和度降低。
- halo
- 时域不平滑。
- 会引起噪声增大。
- tone mapping是个系统工程，且和应用领域关系很大。
思考题：
在安防和移动手机领域的tone mapping有何异同点？在算法上有什么差异呢？
参考
大话成像数字成像系统专业技术培训视频教程|matlab专家培训教程
http://v.xue.taobao.com/learn.htm?spm=2013.1.0.0.3d0d207775wPBr&courseId=96138
大话成像cmos sensor测试测量与国际标准视频教程|matlab专家培训
http://v.xue.taobao.com/learn.htm?spm=2013.1.0.0.3a9621d305BUrE&courseId=105335
大话成像图像质量测试测量与国际标准培训课程Matlab培训专家课程
http://v.xue.taobao.com/learn.htm?spm=2013.1.0.0.67666e28F62P7I&courseId=112146