zoukankan      html  css  js  c++  java
  • Python处理计算密集型任务多少个进程最优?一个小测试

    python多进程处理测试:

    INFO: 任务数:300

    INFO: 300个任务已经推送完毕

    测试机型:CPU: i7-8700 3.2GHz 12个逻辑处理器
      # 1进程 CPU%20 Processing: 94%|█████████▎| 281/300 [02:08<00:02, 1.78it/s]
      # 4进程 CPU%40 Processing: 94%|█████████▎| 281/300 [00:48<00:02, 6.02it/s]
      # 6进程 CPU%70 Processing: 94%|█████████▎| 281/300 [00:38<00:02, 7.50it/s]
      # 8进程 CPU%95 Processing: 94%|█████████▎| 281/300 [00:33<00:02, 8.51it/s] 次优
      # 10进程 CPU%100 Processing: 94%|█████████▎| 281/300 [00:30<00:02, 9.56it/s] 最优
      # 12进程 CPU%100 Processing: 94%|█████████▎| 281/300 [00:30<00:02, 9.36it/s] 处理效率出现下滑

    结论:对于使用本机型处理计算密集型的python运算使用8到10个进程比较合适。其他机型可参考。

  • 相关阅读:
    Windows多线程编程入门
    多字节字符与宽字符
    Linux静态库与动态库详解
    Linux下清理内存和Cache方法
    数据库设计范式
    mybatis面试问题
    Gson使用
    Linux 定时任务crontab使用
    Java-GC机制
    java内存模型
  • 原文地址:https://www.cnblogs.com/mzfly/p/15577552.html
Copyright © 2011-2022 走看看