视觉感知基本知识

序言

       自动驾驶是目前非常有前景的行业，而视觉感知作为自动驾驶中的“眼睛”，有着非常重要的地位和作用。本着“不积跬步，无以致千里”的态度，记录下一个个相关知识点。一方面用于备忘，另一方面也可以让需要了解相关知识的人一个快速学习的机会。

目录

知识点1：色彩空间  Ycbcr-> RGB

知识点2：光照补偿

知识点3：评分标准

知识点4：特征匹配算法

知识点：感知哈希算法

正文

知识点1：色彩空间  Ycbcr-> RGB

       RGB  带色彩 ，带亮度   
 Y          0.299      0.587       0.114       R
Cb   = -0.1678   -0.3313          0.5  *   G
Cr              0.5   -0.4187   -0.0813       B

知识点2：光照补偿

  视觉感受的亮度是眼睛入射光强的对数函数

g(x,y) = (Gl-G0)/((Lnn-Lnm)x[ln(f(x,y)-lnm]+G0)

g(x,y) 变换后亮度值

Gl：变换前最大灰度

G0：变换前最小灰度

g(x,y)  = 255x(ln(f(x,y)-b)/(lnE-lnB)      B<=f(x,y) <=E

g(x,y)  = 0                                                   f(x,y)< B

g(x,y)  = 255                                               f(x,y) >E

过亮或过暗区域修正：

Pr(rk) = nk/N   ,   0<=rk<=1,k=0,1,...,L-1

Sk=∑i=0,k(pr(ri))    ,mk=∑i=0,k(ni)

1) sk<5% ,sk+1 >5%,mk>100,f(x,y)靠近灰度值0，令B=f(x,y) ,排序从低到高，取前5%，mk足够，设最低为B

2) sk<95% ,sk+1 >95%,mk>100,f(x,y)靠近灰度值255，令B=f(x,y) ,排序从高到低，取前5%，mk足够，设最低为E

算法流程如下：

IN_Image                          OUT_Image  (针对光线暗)
      |                               /|
     |/                               |
RGB-> YCbCr                        YCbCr  -> RGB
      |                               /|
     |/                               |
直方图均衡化              ---->     自适应非线性转换

 知识点3：评分标准       

        针对多目标跟踪：MTT（Multiple target tracking）   MOT(Multi-object Tracking)

给定一个图像序列，找到序列中运行的物体，对目标进行定位，将不同帧中同一目标一一对应，记录其ID，并给出不同物体的运动轨迹。

        1.MOTA ：Multiple Object Tracking Accuracy

        2.IDF1  ：ID F1-score

        3.FP

        4.FN

        5.MT    :Mostly tracked target

        6.ML   :Mostly lost   target

        7.IDS   :ID Switch

        8.FM    :Fragmentation

知识点4：特征匹配算法

SIFT

步骤：

1）尺度空间极植检测

2）特征点提取

3）特征方向提取

4）特征点局部特征提取（关键点表示特征）

缺点：实时性差

SURF

优点：实时性好

BRIEF

步骤:

1）通过逻辑运算（异或）获取描述符之间的相似度，提高匹配速度；

2）描述符索引与聚类：索引：编码可快速获取对应关系；聚类：相似度较高描述符聚类。

FAST

设置相应阈值来控制特征点的数量

知识点：感知哈希算法

1）缩小尺寸（8x8）64个像素，去除细节

2）简化色彩，转换成64级灰度值

3）计算平均值

4）比较像素的灰度，与平均值比较，大于为1，小于为0

5）计算哈希值，64位整数为图像的指纹

6）比对图像（汉明距离）

小于5为相似，大于10为不相似