一种简单高效的生产者消费者多线程实现

一种简单高效的生产者消费者多线程实现

初衷

解决几个问题：

• 主线程阻塞时间太长。
• 工作线程阻塞时间太长。
• 过多的同步代码导致结构复杂。
• 不能动态的调整工作线程数量。

实现方式

• 主线程有一个任务队列A，每个工作线程也有一个任务队列B。
• 主线程中收到一个请求时，在队列A中添加任务。
• 主线程在循环中：
  • 如果工作线程没有锁定队列B，那么主线程从队列A中取任务，放到队列B中，并唤醒工作线程。检查是否锁定使用TryEnterCriticalSection（Windows）/pthread_mutex_trylock（Linux）。
  • 如果工作线程锁定了队列B，那么主线程跳过，避免主线程阻塞。
  • 如果有已经完成的任务，则回调给请求者。任务完成通过状态变量检查，避免阻塞。
  • 可以动态的添加、删除工作线程，删除时只要判断工作线程没有锁定自己的任务队列B即可。
• 工作线程：
  • 处理整个队列B的任务。
  • 完成的任务设置状态变量为完成，注意使用Interlocked函数（Windows）/__sync_add_and_fetch（Linux），避免工作线程阻塞。
  • 然后睡眠，等待主线程唤醒。

这种实现有几个特点：

• 任务队列A不需要锁。
• 任务队列B需要锁，但不会阻塞主线程。
• 使用状态变量，简化线程同步操作，减少任务回调等待时间。
• 依赖于主线程的循环操作。