多线程实例（一）——遍历文件夹分割文件识别文件内容

需求：遍历文件夹下的所有pdf文件，对每个pdf文件根据二维码进行分割，再对分割后的文件的内容进行识别。

可以拆分为以下几个关键方法：

1.GetFileList方法：遍历文件，获取源文件动态数组（这里假设3个文件夹，每个文件夹下有3个文件，则源文件个数为9），耗时忽略不计

static List<string> GetFileList(string strFilefolder)
        {
            List<string> list_file = new List<string>();

            for (int i = 0; i <= 2; i++)
            {
                for (int j = 0; j <= 2; j++)
                    list_file.Add("File" + i + j);
            }

            return list_file;
        }

2.SplitProcess方法：分割原始pdf文件，识别二维码（假设耗时500ms），将一个pdf文件分割为N（这里假设个数为6）个子文件

static void SplitProcess(string sourcefile)
        {
            Console.WriteLine("SplitFile Start:" + sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));            
            for (int i = 0; i <= 5; i++)
            {
                //模拟分割单个文件的过程，花费500ms
                Thread.Sleep(500);
                string split_file = sourcefile + i;
                Console.WriteLine("file ready:" + split_file + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                RecognizeProcess(split_file);
            }
            Console.WriteLine("SplitFile Completed:" + sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));            
        }

3.RecognizeProcess方法：识别子文件的内容：加载识别库，设置识别参数，截取识别区域图像，图像处理（如缩放，降噪，灰度转换等），识别（假设耗时5000ms）

static void RecognizeProcess(string split_file)
        {
            //模拟识别的过程，花费5000ms
            Thread.Sleep(5000);
            Console.WriteLine("ocrFile Completed:" + split_file + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
        }

单线程处理：

static void Main(string[] args)
        {
            Console.WriteLine("Enter Main" + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
            string strFilefolder = "";
            OcrProcess(strFilefolder);
            Console.WriteLine("Main Completed" + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
            Console.ReadKey();
        }

        static void OcrProcess(string strFilefolder)
        {            
            List<string> list_sourcefile = GetFileList(strFilefolder);
            list_sourcefile.ForEach((sourcefile) =>
            {
                Console.WriteLine(sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                //这里对文件进行分割
                SplitProcess(sourcefile);
            });            
        }

这个单线程处理的执行结果我们可以预估一下，应该大于 9 * 6 * （0.5 + 5） = 297 秒。

实际结果：

 …… 

 开始时间 2020-06-17 15:22:28 6104 结束时间 2020-06-17 15:27:26 1541 

由于是线性处理，整个过程耗费的时间约5分钟，所以必须要进行优化，所以考虑用多线程来提高效率。

优化方向：

1.多线程，使用Task并行对源文件进行分割 

static void OcrProcess(string strFilefolder)
        {
            List<Task> tasks = new List<Task>();  
            List<string> list_sourcefile = GetFileList(strFilefolder);
            list_sourcefile.ForEach((sourcefile) =>
            {
                Task task = Task.Factory.StartNew( () =>
                { 
                    Console.WriteLine(sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                    //这里对文件进行分割
                    SplitProcess(sourcefile);
                });
                tasks.Add(task);                
            });
            Task.WaitAll(tasks.ToArray());
        }

 ……

 

开始时间 2020-06-17 15:51:54 5458 结束时间 2020-06-17 15:52:35 3144 

整个过程耗费的时间约41秒，优化效果明显。

2.每分割出来一个文件，开启子线程，进行识别

static void SplitProcess(string sourcefile)
        {
            List<Task> tasks = new List<Task>();
            Console.WriteLine("SplitFile Start:" + sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));            
            for (int i = 0; i <= 5; i++)
            {
                //模拟分割单个文件的过程，花费500ms
                Thread.Sleep(500);
                string split_file = sourcefile + i;
                Console.WriteLine("file ready:" + split_file + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                Task task = Task.Factory.StartNew(() =>
                {
                    RecognizeProcess(split_file);
                });
                tasks.Add(task);
            }
            Task.WaitAll(tasks.ToArray());
            Console.WriteLine("SplitFile Completed:" + sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));            
        }

  ……

 开始时间 2020-06-17 15:58:59 2591 结束时间 2020-06-17 15:59:28 9051 

整个过程耗费的时间约29秒，运行时间进一步缩短。 

然而，最后再思考一下，如果把多线程发挥到极致，理想状态应该是多少秒执行完毕？

以源文件sourcefile=File00为例，

第一个分割子文件split_file=File000，ReadyTime 500ms，Ocr Completed Time 应该为5500ms

第二个分割子文件split_file=File001，ReadyTime 1000ms，Ocr Completed Time 应该为6000ms 

第三个分割子文件split_file=File002，ReadyTime 1500ms，Ocr Completed Time 应该为6500ms 

第四个分割子文件split_file=File003，ReadyTime 2000ms，Ocr Completed Time 应该为7000ms

第五个分割子文件split_file=File004，ReadyTime 2500ms，Ocr Completed Time 应该为7500ms

第六个分割子文件split_file=File005，ReadyTime 3000ms，Ocr Completed Time 应该为8000ms

File00 Split Completed！

每一个源文件（sourcefile）被逐个分割为6个拆分子文件（split_file）并识别完成，都需要8000ms时间，如果使用线程同步的话，那么后续源文件也同步被分割并识别完成。 

所以，理想情况下，应该是8秒，而与29秒差距太大了，应该还有优化空间！

3.怎么优化？向什么方向优化？我们不妨不用Task，回归到Thread本身来试试。

可是Thread运行时没有Task.WaitAll()这样的控制方法，因此，我们还要引入WaitHandle和ManualResetEvent来进行多线程管理。 

class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("Enter Main" + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
            string strFilefolder = "";
            OcrProcess(strFilefolder);
            Console.WriteLine("Main Completed" + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
            Console.ReadKey();
        }        

        static void OcrProcess(string strFilefolder)
        {            
            List<ManualResetEvent> split_waits = new List<ManualResetEvent>();
            List<string> list_sourcefile = GetFileList(strFilefolder);
            list_sourcefile.ForEach((sourcefile) =>
            {
                Thread m_thread = new Thread(() =>
                {
                    ManualResetEvent mre = new ManualResetEvent(false);
                    split_waits.Add(mre);
                    Console.WriteLine(sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                    //这里对文件进行分割
                    SplitProcess(sourcefile);
                    mre.Set();
                });
                m_thread.Start();
            });
            WaitHandle.WaitAll(split_waits.ToArray());
        }

        static void SplitProcess(string sourcefile)
        {
            Console.WriteLine("SplitFile Start:" + sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
            var ocr_waits = new List<EventWaitHandle>();
            for (int i = 0; i <= 5; i++)
            {
                //模拟分割单个文件的过程，花费500ms
                Thread.Sleep(500);
                string split_file = sourcefile + i;
                Console.WriteLine("file ready:" + split_file + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                ManualResetEvent mre_child = new ManualResetEvent(false);
                ocr_waits.Add(mre_child);
                Thread m_child_thread = new Thread(() =>
                {
                    Console.WriteLine("m_child_thread enter:" + split_file + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                    RecognizeProcess(split_file);                    
                    mre_child.Set();
                    Console.WriteLine("m_child_thread after set:" + split_file + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
                });
                m_child_thread.Start();
            }
            WaitHandle.WaitAll(ocr_waits.ToArray());
            Console.WriteLine("SplitFile Completed:" + sourcefile + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));            
        }

        static void RecognizeProcess(string split_file)
        {
            //模拟识别的过程，花费5000ms
            Thread.Sleep(5000);
            Console.WriteLine("ocrFile Completed:" + split_file + DateTime.Now.ToString(" yyyy-MM-dd HH:mm:ss ffff"));
        }

        static List<string> GetFileList(string strFilefolder)
        {
            List<string> list_file = new List<string>();
            for (int i = 0; i <= 2; i++)
            {
                for (int j = 0; j <= 2; j++)
                    list_file.Add("File" + i + j);
            }
            return list_file;
        }
    }

  

  ……

开始时间 2020-06-17 15:28:17 2397 结束时间 2020-06-17 16:28:27 9151 

整个过程耗费的时间约10秒，运行时间与理论的8秒已经十分接近（因为Thread创建以及运行时需要切换上下文，Console.WriteLine都有一定的耗时，PC性能好的话应该更接近8秒），可以说目标已经达成。 

Tips:

ManualResetEvent初始状态为false表示不将线程信号量初始值置为signal，线程会自动往下执行，执行Set()方法时，将线程信号量置为signal。

WaitHandle.WaitAll(split_waithandle1,split_waithandle2); //一直等待，直到split_waithandle1,split_waithandle2信号量均被置为signal才会往下执行。

不足之处：

开启Thread要受到系统的限制，所以本例线程数必须考虑操作系统线程最大值限制。