分布式系统的通信是关键。
0. 主从
- 主从分布式：
- 控制节点
- 工作节点
- 主从分布式的通信
- 工作节点之间没有通信；
- 控制节点与各个工作节点之间是双向通信；
- 控制节点 ⇒ 工作节点，下发任务；
- 工作节点 => 控制节点，生成新的任务统一交由控制节点管理；
- 缺陷：
- 控制节点会成为整个系统的瓶颈，容易导致整个分布式系统性能下降；
1. 计算核心数
长期以来，核心负责对处理器（processor）中的数据进行处理。共同运行的核心越多，计算机执行任务的速度越快。
- CPU 核心专为效率型应用程序等串行任务而设计，
- GPU 是为执行视频编辑、游戏和丰富的网页浏览等更多的并行和图形密集型任务而设计。
比如对于中国的天河二号，共 16,000 个运算节点，每节点配备两颗 Xeon E5 12 核心的中央处理器、三个 Xeon Phi 57 核心的协处理器（运算加速卡）。累计 32,000 颗 Xeon E5 主处理器和 48,000个Xeon Phi 协处理器，共 ？ 个计算核心。
- 32000*12 + 48000*57 = 3120000