前言
CPU 的并行编程技术，也是高性能计算中的热点，也是今后要努力学习的方向。那么它和 GPU 并行编程有何区别呢？
本文将做出详细的对比，分析各自的特点，为将来深入学习 CPU 并行编程技术打下铺垫。
区别一：缓存管理方式的不同
GPU：缓存对程序员不透明，程序员可根据实际情况操纵大部分缓存 (也有一部分缓存是由硬件自行管理)。
CPU：缓存对程序员透明。应用程序员无法通过编程手段操纵缓存。
区别二：指令模型的不同
GPU：采用 SIMT - 单指令多线程模型，一条指令配备一组硬件，对应32个线程 (一个线程束)。
CPU：采用 MIMD - 多指令多数据类型。多条指令构成指令流水线，且每个线程都有独立的硬件来操纵整个指令流。
用通俗易懂的话来说，GPU 采用频繁的线程切换来隐藏存储延迟，而 CPU 采用复杂的分支预测技术来达到此目的。
区别三：硬件结构的不同
GPU 内部有很多流多处理器。每个流多处理器都相当于一个“核"，而且一个流多处理器每次处理 32 个线程。
故 GPU 的数据吞吐量非常大，倾向于进行数据并发型优化；而 CPU 则倾向于任务并发型优化。