zoukankan      html  css  js  c++  java
  • Parallel并行化编程

    在很多场景中我们需要通过并行化的方式来提高程序运行的速度,比较典型的需求就是并行下载。前期遇到一个需求是要批量下载瓦片,每次大概下载上百万个瓦片,要想提高瓦片的下载速度,只能通过并行化的方式,下面把我解决此问题的思路和代码总结如下:

    第一步确定线程个数(ThreadCount),这个要根据网络情况和硬件配置进行确定,可以做成一个配置项由用户自行确定。

    第二步将任务分成ThreadCount个,此步需要注意处理任务数较少(小于线程个数)以及任务数除不尽ThreadCount的情况。处理方式为任务数较少时不进行任务细分,由一个线程处理;除不尽的情况解决方案是最后一个任务处理剩下所有的任务。具体代码如下:

     1             var list_thread = new List<List<Location>>();//细分的下载任务(均分)
     2 
     3             if (list.Count >= 1000)//如果比1000个还小不细分,一个线程执行
     4             {
     5                 var count = (int)(list.Count / threadCount);
     6                 for (int i = 0; i < threadCount; i++)
     7                 {
     8                     if (i == threadCount - 1)
     9                         list_thread.Add(list.Skip(i * count).Take(list.Count - count * (threadCount - 1)).ToList());//最后一个取剩下的所有
    10                     else
    11                         list_thread.Add(list.Skip(i * count).Take(count).ToList());
    12                 }
    13             }
    14             else
    15                 list_thread.Add(list);

    其中list_thread是细分后的任务列表,list是原始任务。

    第三步处理所有任务,并添加到线程列表,等待所有线程执行完毕,即为所有任务处理完毕,具体代码如下:

    1             var list = ...;//获取所有任务
    2             var list_thread = GetThreadCountList(loc_list);//获取细分的线程任务
    3 
    4             var listTask = new List<Task>();//存储所有线程任务
    5             foreach (var item in list_thread)//几个细分任务就创建几个线程
    6             {
    7                 listTask.Add(Task.Factory.StartNew(() => DoWork(item)));//处理单个线程
    8             }
    9             Task.WaitAll(listTask.ToArray());//等待所有线程处理完毕!

    以上就是使用Parallel进行并行化编程的方式,看似简单的代码,其实蕴藏了一个哲学问题(所有问题上升到一定程度都是哲学问题)——做事要细分:将一件复杂的事情尽量根据实际情况进行细分,完成一件一件小的任务,整个任务也就完成了。

    另最近事情比较多,思绪有些混乱,忘见谅!

  • 相关阅读:
    开发两年!JVM方法调用都玩不明白,你离被炒鱿鱼不远了!
    springboot基本框架搭建零基础教程,对新手极为友好!
    SpingBoot整合Mybatis,这些小技巧你得知道,对你工作有很大的帮助!
    今天我们基于jdk8聊聊JVM-常量池,希望对大家有帮助!
    剑指 Offer 12. 矩阵中的路径
    WUSTCTF2020 funnyre
    2020 DJBCTF RE wp
    黑马c++基础的一个通讯录系统
    elf文件结构解读以及plt节got节的理解
    ubuntu16.04上编译android的可执行文件并调用本地so库
  • 原文地址:https://www.cnblogs.com/shoufengwei/p/5540758.html
Copyright © 2011-2022 走看看