作者：玉清.
在过去的几年中，GPU的发展产生了较大的变化，GPU强大的性能被局限于处理图形渲染的任务，无疑是对计算资源的浪费，随着GPU可编程能力不断提高，通用计算（GPGPU: General-purpose
computing on graphics processing units）应运而生，目前已经取得部分显著成效，部分应用带来的性能提升也是非常可观.
在DirectX 10规范之前的GPGPU计算中，可编程的单元主要是顶点着色器和像素着色器，两者在物理上是分离的，数量也是固定的，一个程序要想发挥其最大性能有较大的编程难度。
最早的GPGPU的开发直接使用了图形学的API，将任务映射成纹理的渲染过程，使用汇编或者高级着色器语言Cg，HLSL等等）编写程序，然后通过图形学API执行（Direct3D和OpenGL），这样的开发不仅难度较大，程序优化也有很大难度，对开发人员的入门要求也是较高，因此，传统的GPGPU没有被广泛应用.
2007年6月，NVIDIA公司推出了CUDA，CUDA不需要借助图形学API，而是采用了类C语言进行开发。同时，CUDA的GPU采用了统一处理架构，以及引入了片内共享存储器，这大大降低了基于GPU的并行计算程式的开发难度。当然，开发人员仍然需要掌握并行算法和GPU架构相关的知识.
G80和GT200 GPU架构回顾：
最早推出的G80架构中，采用了128个SP(流处理单元Streaming Processor)，每8个SP组成一个SM（多流处理器Streaming Multiprocessors），每3个SM再组成一个TPC（ThreadProcessing
Cluster，线程处理器群）.
注：在G80架构中，是两个SM组成一个TPC，而GT200中，是三个SM组成一个TPC.
G80里面有8个TPC，而GT200增加到了10个，其中，每个TPC内部还有一个纹理流水线.
而在AMD的RV770中，具有10个SIMD engine，每个SIMD
engine中有16个SIMD Core，每个SIMD Core相当于一个5D ALU，RV770则共有160个，GT200中有240个1D ALU.
许多DIY爱好者称之SP为类似于CPU多核的”流处理器”，这个称呼严格的看起来存在不妥，把SM与CPU的核相比更加合适。和现在的CPU的核一样，SM也拥有独立的取指和调度单元构成的完整前端。SP 并不能算作独立的处理器核，它们具有独立的寄存器和指令指针，但是并没有取指和调度单元来构成完整前端.
CUDA 编程模型简述：
在 CUDA 的架构下，程式分为两个部份：host 和 device 。Host 是指在 CPU 上执行的部份，而 device 端则是在GPU上执行的部份。
Device 端的部分称之为"kernel"。通常 host 端程序会将数据准备好后，复制到显存中，再由GPU执行 device 端程序，完成后再由 host 端程序将结果从GPU中取回。
在CUDA架构下，线程的最小单元是thread，多个thread组成一个block，多个block再组成一个grid，不同block之前的thread不能读写同一shared memory共享内存，因此，block里面的thread之间的通信和同步所带来的开销是比较大的。
SM 以 32 个 Thread 为一组的 Warp 来执行 Thread。Warp内的线程是静态的，即在属于同一个warp内的thread之间进行通信，不需要进行栅栏同步(barrier)。
GT200中每个SM中有16KB的sharedmemory供8个SP共享，这也是GT200中线程中进行低延迟数据通信的唯一方法，因此地位至关重要。
但是16KB的shared memory可能对于某些程式来说偏小，所以Fermi在此作出了重大的改变。
简单解析Fermi：
Fermi的设计根据G80和GT200的架构作出的很多缺陷来改变。
在Fermi中，每个SM中的数量不再是GT200的8个SP，而是变成了32个SP，NVIDIA现在又称之为CUDA Core，总共具有16个SM，所以总共有512个SP。而在GT200中，是30个SM，240个SP。
至于Fermi为什么要做出一个SM内设计成32个SP，减少SM总数的这样的设计，目前还不明白是为什么，不过这样设计或许可以减少控制逻辑控制单元。
Fermi支持每一个block里面启动1536个线程。而在GT200，这一数量是512个。
同时，在GT200和G80中，都是用IEEE 754‐1985的单精度浮点标准。尤其是G80以及G92等GPU，是不支持双精度的，GT200尽管支持双精度，但是所带来的时间开销也是比较大的。
Fermi采用的是IEEE
754‐2008的单精度浮点标准，单精度和双精度都同时支持FMA功能FMA是通过MAD来完成乘法和加法操作，同时保证没有精度的损失。双精度的浮点计算在高性能计算中有着核心的重要位置。 Fermi架构为支持双精度浮点运算进行了特别设计每一个SM在一个时钟周期内可以完成16个双精度浮点数的FMA操作。这是在GT200架构以后又一激动人心的设计。
Fermi拥有32位整数单元，很多常用整数运算的指令吞吐量都有了几倍的提升。Fermi双精度单元的提升也极为明显。由于local memory速度提高，因此高精度的超越函数的吞吐量也会有一个数量级的提升。
Fermi存储器改变：
刚才提到，G80和GT200中每个SM中有16KB的shared memory，这在Fermi已经做出了极大的改观。
有些程式根本就不会用到shared memory，它们需要的是缓冲来提高性能，而有的程式对16KB的shared memory实在难以满足，因此Fermi对此作出了改变。
Fermi具有64KB的共享存储器，这64KB的存储器可以作为48 KB的共享内存和16 KB的L1缓存，或者成为16 KB的共享内存和48 KB的L1缓存。
同时，Fermi也首次增加了768KB大小的L2缓存，可以提供所有的存储和纹理操作，L2缓存是和所有SM相通的。
Fermi增加了ECC功能
，在大型集群和高可靠性领域中，ECC是一个重要的特性。这是业界第一款支持ECC校验的GPU。Fermi的寄存器，共享内存，L1和L2缓存以及显存DRAM都支持ECC校验，这增加了系统的可靠性。
同时，Fermi的原子操作能力大为提升，原子操作对于并行计算来说至关重要，Fermi增加了众多的原子操控单元，以及使用了L2 缓存，使得Fermi的原子操控大大提升。
多个Kernel并发执行和支持C++：
Fermi支持同一个程式中的多个Kernel同时执行在一个Ferimi架构的GPU上面，这提高了GPU的利用率。
像CPU一样，GPU也可以利用context的切换来管理多任务的切换，Fermi的pipeline经过优化设计，把context切换时间开销降低到了10-20ms，性能得到极大的提高，这大大的优化了Kernel-to-Kernel的程式.
对于C++的支持毫无疑问是一个让人激动的设计，Fermi和PTX2.0 ISA实现了统一寻址空间，可以统一寻址3种不同的内存地址（线程私有变量，block的共享内存和全局内存）来进行存/取操作。
统一地址空间的实现，让Fermi完全支持C++编程。在C++中，所有的变量和函数都在一个object中，通过指针访问。PTX2.0可以通过统一指针管理找到内存上的object，Fermi提供的硬件寻址方式可以自动的把指针对应到相应的物理地址。同时，Fermi同样提供C++虚函数(virtual
function)，函式指针(function pointer)，new，delete，try，catch等等支持。