0. 基础并行/发：multiprocessing/threading
1. concurrent
2. 并发：asynico
3. Ipython下的并行计算：
使用ipyparallel库的IPython提供了前所未有的能力，将科学Python的探索能力与几乎即时访问多个计算核心相结合。系统可以直观地与本地或网络的计算节点集群进行交互，而不管集群的实现方式如何。
这种易于交互使用帮助IPython和Python成为各种学科的科学计算和数据科学的流行工具。https://ipyparallel.readthedocs.io/en/latest/demos.html
https://ipyparallel.readthedocs.io/en/latest/demos.html
4. 分布式消息异步任务队列：
Celery是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作，但也支持调度。
执行单元（称为任务）使用多处理，Eventlet或gevent在单个或多个工作服务器上并发执行。任务可以异步（在后台）或同步执行（等到准备好）。
Celery用于生产系统，每天处理数百万个任务。
5. Parallel Python：https://www.parallelpython.com/content/view/15/30/
6. mpi: 进程间通信，mpi4py
7. 分布式发行版：Intel®Distributionfor Python 。https://software.intel.com/en-us/distribution-for-python
8. 计算加速：numba
9. 分布式计算框架：spark, dask
https://wiki.python.org/moin/ParallelProcessing
https://www.imooc.com/article/17970?block_id=tuijian_wz
https://github.com/pgiri/dispy
10. 时下较活跃的库
https://github.com/ray-project/ray
https://pathos.readthedocs.io/en/latest/pathos.html#module-pathos.multiprocessing
https://pycos.sourceforge.io/tutorial.html#asynchronous-concurrent-programming
windows 下只能试下pathos了，ray不行
11. scoop不活跃了啊
同时，Python社区的最新趋势不是在集群上分配任务，而是将它们放在高性能GPU上（大多数超级计算机将在不久的将来成为GPU）。有许多Python库来处理这些任务，包括绑定到OpenCL和CUDA。
https://hpc-carpentry.github.io/hpc-python/06-parallel/
数据密集型与计算密集型融合？
https://www.quora.com/Is-there-any-Deep-Learning-library-that-works-on-MPI-Spark-or-any-distributed-platform-without-using-any-GPUs
