车牌识别是基于图像分割和图像识别理论，对含有车辆号牌的图像进行分析处理，从而确定牌照在图像中的位置，并进一步提取和识别出文本字符。
一个典型的车牌识别处理过程包括：图像采集、图像预处理、车牌定位、字符分割、字符识别及结果输出等处理过程。各个处理过程相辅相成，每个处理过程均须保证其高效和较高的抗干扰能力，只有这样才能保证识别功能达到满意的功能品质。
车牌识别系统的实现方式主要分两种，一种为静态图像识别，另一种为动态视频流识别。静态图像识别受限于图像质量、车牌污损度、车牌倾斜度等因素。动态视频流识别则需要更快的识别速度，受限于处理器的性能指标，特别是在移动终端实现车牌实时识别需要更多性能优化。
虽然车牌识别包含6大处理过程，但核心算法主要位于车牌定位、字符分割及字符识别这三个模块中。
车牌定位
车牌定位的主要工作是从静态图片或视频帧中找到车牌位置，并把车牌从图像中单独分离出来以供后续处理模块处理。车牌定位是影响系统性能的重要因素之一。目前车牌定位的方法很多，但总的来说可以分为两大类：
一、基于图形图像学的定位方法。
主要有（1）基于颜色的定位方法，如彩色边缘算法、颜色距离和相似度算法等；（2）基于纹理的定位方法，如小波纹理、水平梯度差分纹理等；（3）基于边缘检测的定位方法；（4）基于数学形态的定位方法。
基于图形图像学的定位方法，容易受到外界干扰信息的干扰而造成定位失败。如基于颜色分析的定位方法中，如果车牌背景颜色与车牌颜色相近，则很难从背景中提取车牌；在基于边缘检测的方法中，车牌边缘的污损也很容易造成定位失败。外界干扰信息的干扰也会欺骗定位算法，使得定位算法生成过多的非车牌候选区域，增大了系统负荷。
二、基于机器学习的定位方法。
基于机器学习的方法有基于特征工程的定位方法和基于神经网络的定位方法等。例如我们可以通过opencv提供的基于haar特征的级联分类器，训练一个车牌定位系统。但该方法训练十分费时，分类定位的效率也较低。因此当前在目标定位方面，基于神经网络的方法是主流方法。在基于神经网络的定位方法中，主要采用卷积神经网络学习目标特征。由于卷积神经网络具有平移不变性，在学习过程中可以辅以候选区域，并对候选区域进行分类。正确分类的候选区域即为目标定位的位置。此类方法有较多实现模型，如RCNN、fast erRCNN、SSD等。
字符分割
字符分割的任务是把多列或多行字符图像中的每个字符从整个图像中切割出来成为单个字符图像。传统字符分割算法可以归纳为以下两类类：直接分割法、基于图像形态学的分割法。直接分割法简单，基于一些先验知识，如车牌字符分布情况等，同时辅助一些基本投影算法实现分割；基于形态学的分割方法使用边缘检测、膨胀腐蚀等处理来确定字符图像位置。传统的字符分割算法同样对外界干扰敏感，如车牌倾斜度、字符污损粘连等。车牌字符的正确分割对字符的识别是很关键的，在分割正确的情况下，才能保证识别的准确率。而随着神经网络理论的不断发展，端到端的图片分类识别技术也有很大突破，因此很多OCR软件逐步摆脱传统字符分割处理，由识别网络对多字符进行直接识别。
字符识别
字符识别是将包含一个或多个字符的图片中提取字符编码的过程。字符识别的典型方法即基于机器学习的图片分类方法。在图片分类方法中，一幅图片只能输出一个分类，也就是说一幅图片中只能包含一个字符图像。这就要求字符分割有很高的准确率。另一种识别方法即端到端的基于循环神经网络的字符识别方法。该方法将整个车牌图片输入网络，神经网络将直接输出所有字符。端到端的方法直接去除了字符分割过程，免去了字符分割错误带来的稳定性损失，但端到端方法同样对其他干扰如车牌倾斜度比较敏感。
以上我们简要讨论了车牌识别系统三大核心模块的一些技术要点，后续我们将对一些主流技术做一个详细讨论。