zoukankan      html  css  js  c++  java
  • worksteal thread pool

    worksteal的场景

      对于一个线程池,每个线程有一个队列,想象这种场景,有的线程队列中有大量的比较耗时的任务堆积,而有的线程队列却是空的,现象就是有的线程处于饥饿状态,而有的线程处于消化不良的状态,这时就需要一种方法来解决这个问题。
    需要worksteal,顾名思义就是任务窃取,当一个线程处于饥饿状态时,它就会去其它的线程队列中窃取任务,解决线程饥饿导致的效率底的问题。

    worksteal要点

    • 每个工作线程将任务放到它内部的队列中;
    • 队列是一个双端队列,支持LIFO的push_front和pop_front操作和FIFO的take操作。
    • 工作线程处理任务通过LIFO来处理最新的任务。
    • 当一个线程处理完了队列中的任务之后,它会试图窃取其他线程队列的任务,根据FIFO从队列的尾部取任务。
    • 如果窃取任务失败则继续尝试,直到所有的线程队列都没有任务了。

    worksteal值得探讨的问题

    worksteal的适用场景

      worksteal适用场景是任务之间的耗时相差比较大,即有的任务很耗时,有的任务很快完成,这种用worksteal很合适;如果任务的耗时很平均则不适合,因为窃取任务也是需要抢占锁的,会造成额外的消耗。

    窃取任务的策略

      有很多种任务窃取策略,比如从任务最多的线程中窃取或随机窃取,需要根据实际情况来选择。

    窃取任务的粒度

      是每次窃取一个任务还是窃取一批任务也是需要考量的,如果窃取的一批任务比较耗时,又会导致其它线程来窃取,这样造成了无谓的消耗;如果一次窃取一个任务,而任务很快完成,这又导致重新窃取,降低了效率。这个粒度也是需要根据实际情况调整的。

    worksteal thread pool源码

    参考资料

    A Java Fork/Join Framework

    Scheduling Multithreaded Computations by Work Stealing

  • 相关阅读:
    一句SQL实现MYSQL的递归查询
    人生不过一个字【Life is but a word】
    VS2008 如何将Release版本设置可以调试的DEBUG版本
    微软 2018 年第一笔收购:文件存储公司 Avere Systems
    设置系统时间
    OpenVZ安装指南,一种操作系统级别的虚拟化技术
    云平台DevOps实践
    路由(Routing)
    Ubuntu命令
    net mvc中angular
  • 原文地址:https://www.cnblogs.com/qicosmos/p/4975454.html
Copyright © 2011-2022 走看看