注：以前做过基于KNN算法的人脸识别，但是未做这样的总结，这不今天面试被问到了，所以记录了一番！
一.光照问题
光照问题是机器视觉中的老问题，在人脸识别中的表现尤为明显。目前方法未能达到使用的程度。
如何克服光照的影响？
目前经常使用的方法有：直方图均衡化处理，必要的话会对人脸区域的左、右脸分别进行直方图均衡化，然后合并成整脸来克服光照的影响。Gabor小波受光照的影响较小。
二.姿态问题
与光照问题类似，姿态问题也是目前人脸识别研究中需要解决的一个技术难点。针对姿态的研究相对比较的少，目前多数的人脸识别算法主要针列正面、准正而人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。
哭，笑，愤怒、仰头、低头，左侧脸，右侧脸，如何识别？
对于有一定偏转角度的人脸，我们会首先对其进行摆正，即将人脸摆正成正脸，然后进行识别；对于表情变化较大的人脸，本人还没有找到比较有效的方法。
三.遮挡问题
对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往彼监控对象都会带着眼镜，帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。
眼睛，帽子、刘海，伤疤，如何识别？
进行人脸识别前，我们会首先对人脸部分进行特征点的标记，而且现在标记特征点时基本可以有效地避免以上因素的影响，问题就是在提取特征点周围的特征时，这些遮挡会有一定的影响，不过影响不会太大。
四.年龄变化
随着年龄的变化，面部外观也在变化，特别是对于青少年，这种变化更加的明显。对于不同的年龄段，人脸识别算法的识别率也不同。
不同时期的人脸像如何识别？少年、中年、老年。
这个问题最直接的例子就是身份证照片的识别，在我国身份证的有效期一般都是20年，这20年间每个人的容貌必然会发生相当大的变化，所有在识别上也同样存在很大的问题。
五.图像质量
人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不一样，特别是对于那些低分辨率、噪声大、质量差的人脸图像(如手机摄像头拍摄的人脸图片、远程监控拍摄的图片等)如何进行有效地人脸识别是个需要关注的问题。同样的，对于高分辨图像对人脸识别算法的影响也需要进一步的研究。
摄像头，摄像机，远程监控，高端相机。。。。如何识别？图像质量参差不齐。
现在，我们在人脸识别时，一般采用的都是相同尺寸，清晰度很接近的人脸图片，所以图像质量问题基本可以解决，但是面对现实中更加复杂的问题，还需要继续优化处理。
六.样本缺乏
基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方法需要大量的训练。由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。
学习样本不全怎么办，谁能保证样本的完备性？
当前的问题不仅有样本不全的问题，还有就是，现在参与训练的人脸图像库基本都是外国人的图像，有关中国人、亚洲人的人脸图像库少之又少，给训练人脸识别模型增加了难度。
七.海量数据
传统人脸识别方法如PCA、LDA等在小规模数据中可以很容易进行训练学习。但是对于海量数据，这些方法其训练过程难以进行，甚至有可能崩溃。
如何解决海量数据的学习问题？
当前我使用的系统的基本可以训练上万张的人脸图像，但是训练时间较长，使用并行处理会有较大的提升。对于更多的图像数据，现在的深度学习、神经网络也可以解决，不过对图像的规格有很严格的要求，如：尺寸一致等等。
八.大规模人脸识别
随着人脸数据库规模的增长，人脸算法的性能将呈现下降。
如何维持或提高大规模应用环境下的人脸识别算法的识别率？
当训练图像库越来越大时，训练的速度会有大幅度下降，但是对于一般的算法，识别率会有所提高。影响识别率的主要原因还是采集到的图像质量。
综上所述，我认为最最主要的问题是：光照、表情、年龄变化。