关于人脸识别的视频图片处理

这篇随笔记录一下最近做人脸识别遇到过的一些问题的解决办法，方便加强印象。以双目摄像头为例。

首先是封装：

视频处理在主窗体下操作比较简单，但是如果是将视频处理过程封装起来，就稍微有些麻烦了，会引起线程安全的问题。

首先将视频控件的对象或者是句柄传到接口里，然后对该对象进行操作。

        private AForge.Controls.VideoSourcePlayer VideoPlayer { get; set; }
        private AForge.Controls.VideoSourcePlayer VideoPlayer2 { get; set; }
      public void SetAFVideo(bool isDefault, AForge.Controls.VideoSourcePlayer video)
        {
            if (isDefault)
            {
                this.VideoPlayer = video;
                this.VideoPlayer.Paint += VideoPlayer_Paint;
            }
            else
            {
                this.VideoPlayer2 = video;
            }
        }

有了视频控件的对象后，接着是打开摄像头

 /// <summary>
        /// 打开摄像头
        /// </summary>
        /// <param name="isDefault"></param>
        /// <param name="videoName">摄像头名称</param>
        /// <returns></returns>
        public bool AFOpenVideo(bool isDefault, string videoName)
        {
            FaceResult.Reset();          
            _isStopDetect = false;
            if (isDefault)
            {
                if (this.VideoPlayer == null) return false;
                this.VideoPlayer.Show();
                if (_deviceVideoClr == null)
                {
                    _deviceVideoClr = Video.GetVideoSource(videoName);
                }
                this.VideoPlayer.VideoSource = _deviceVideoClr;
                this.VideoPlayer.Start();
                return true;
            }
            else
            {
                if (this.VideoPlayer2 == null) return false;
                this.VideoPlayer2.Show();
                if (_deviceVideoGry == null)
                {
                    _deviceVideoGry = Video.GetVideoSource(videoName);
                }
                this.VideoPlayer2.VideoSource = _deviceVideoGry;
                this.VideoPlayer2.Start();
                return true;
            }
        }

关闭摄像头。关闭摄像头，有两种方式，一种是在主线程中直接关闭，另外一种是在子线程里关闭

/// <summary>
        /// 关闭摄像头
        /// </summary>
        public void CloseVideo()
        {
            _isStopDetect = true;
            Thread.Sleep(150);
        }
        /// <summary>
        /// 关闭摄像头
        /// </summary>
        public void CloseVideoDirect()
        {
            CancelFaceDetect();
            if (this.VideoPlayer != null)
            {
                if (this.VideoPlayer.IsRunning)
                {
                    VideoPlayer.SignalToStop();
                    VideoPlayer.Hide();
                }
            }
            if (this.VideoPlayer2 != null)
            {
                if (this.VideoPlayer2.IsRunning)
                {
                    VideoPlayer2.SignalToStop();
                    VideoPlayer2.Hide();
                }
            }
        }

取消人脸比对

 private void CancelFaceDetect()
        {
            _mEvent.Set();
        }

人脸识别算法初始化

 /// <summary>
        /// 人脸算法初始化
        /// </summary>
        /// <returns></returns>
        public void InitFaceEngine(Action<bool, string> action)
        {
               //初始化过程
        }

人脸比对过程，在子线程里处理，防止页面卡顿，同时每次只处理一帧。通过ManualResetEvent信号变量来终止人脸比对过程，视频比对过程在

FaceDetect方法里。比对完成，必须释放img对象占用的内存

public void StartFaceDetect()
        {
            if (!_isFaceCompare) return;
            _mEvent.Reset();
            Task.Factory.StartNew(() =>
            {
                Task.Delay(2000).Wait();
                while (true)
                {
                    try
                    {
                        if (_mEvent.WaitOne(100))
                        {
                            FaceResult.Reset();
                            break;
                        }
                        var imgClr = this.VideoPlayer.GetCurrentVideoFrame();
                        var imgGry = this.VideoPlayer2.GetCurrentVideoFrame();
                        float offsetX = VideoPlayer.Width * 1f / imgClr.Width;
                        float offsetY = VideoPlayer.Height * 1f / imgClr.Height;
                        FaceResult.OffsetX = offsetX;
                        FaceResult.OffsetY = offsetY;
                        FaceDetect(imgClr, imgGry);
                        imgClr.Dispose();
                        imgGry.Dispose();
                    }
                    catch (System.Exception ex)
                    {
                        throw new Exception(ex.Message);
                    }
                }
            });
        }

给人脸框选。通过_isStopDetect变量来标识，在人脸识别通过后是否关闭摄像头

 private void VideoPlayer_Paint(object sender, System.Windows.Forms.PaintEventArgs e)
        {
            for (int i = 0; i < FaceResult.FaceNumber; i++)
            {
                //根据Rect进行画框
                e.Graphics.DrawRectangle(_rectPen, FaceResult.X, FaceResult.Y, FaceResult.Width, FaceResult.Height);
                if (_trackUnit.message != "" && FaceResult.X > 0 && FaceResult.Y > 0)
                {
                    //将上一帧检测结果显示到页面上
                    e.Graphics.DrawString(_trackUnit.message, _trackFont, _trackBrush, FaceResult.X, FaceResult.Y + 5);
                }
            }
            if (_isStopDetect)
            {
                CloseVideoDirect();
            }
        }

将比对结果实时告诉前端。比对的信息通过事件FaceDetectShowHandler 来通知到前端，人脸比对成功通过事件FaceDectctResultHandler通知前端，前端收到FaceDectctResultHandler后执CloseVideo()，以关闭摄像头

 public Action<string> FaceDetectShowHandler { get; set; }
 public Action FaceDectctResultHandler { get; set; }
 /// <summary>
 /// 人脸比对
 /// </summary>
 /// <param name="bitClr"></param>
 /// <param name="bitGry"></param>
  public void FaceDetect(Bitmap bitClr, Bitmap bitGry)
  {
//...
      this.__errString = "没有检测到人脸,请正视相机!!";
     FaceDetectShowHandler?.Invoke(_errString);
    this.__errString = "相似度高";
       FaceDectctResultHandler?.Invoke();

 }

通过前面的示例代码知道，视频比对是在一个task子线程进行，前端要收到比对信息的消息通知，也是在子线程进行，如果将消息显示在前端界面上进行刷新，就必须通过委托
来刷新界面，否则引起线程安全的问题。同理，前端收到FaceDectctResultHandler事件通知后，要关闭摄像头，就不能直接调用close方法来关闭，而必须在主线程
关闭，这里通过一个变量_isStopDetect在paint事件里关闭摄像头，因为Paint事件是主线程，所以主线程里关闭摄像头完全没问题。另外关于视频图像的处理，有两种
方式，一种是用一个while循环，一种是通过线程池，每捕捉到一帧图像就丢到线程池里异步处理，但是用线程池可能会引发一个问题，就是引用类型变量在一个循环没有处
理完时，变量就被修改了，此时容易引起程序崩溃。用while循环，需要开启一个子线程，防止页面卡顿，是一个同步处理的过程。
在关闭摄像头时，有一个休眠150毫秒的动作，目的是让ManualResetEvent先收到终止的信号，终止while循环，然后执行关闭摄像头的动作，否则时间过短，导致while
一直执行。