[转]老男孩读PCIe之二：PCIe拓扑结构

来源： http://www.ssdfans.com/?p=3692 

"计算机网络的拓扑结构是引用拓扑学中研究与大小、形状无关的点、线关系的方法，把网络中的计算机和通信设备抽象为一个点，把传输介质抽象为一条线，由点和线组成的几何图形就是计算机网络的拓扑结构。"

计算机网络的最主要的拓扑结构有总线型拓扑、环形拓扑、树形拓扑、星形拓扑、混合型拓扑以及网状拓扑。

PCI采用的是总线型拓扑结构，一条PCI总线上挂着若干个PCI终端设备或者PCI桥设备，大家共享该条PCI总线，哪个人想说话，必须获得总线使用权，然后才能发言。下面是一个基于PCI的传统计算机系统：

 

图2.1

北桥下面的那根PCI总线，挂载了以太网设备、SCSI设备、南桥以及其他设备，他们共享那条总线，某个设备只有获得总线使用权才能进行数据传输。

而PCIe则采用树形拓扑结构，一个简单而又典型的PCIe拓扑结构如下：

 

图2.2

整个PCIe拓扑结构是一个树形结构，Root Complex（RC）是树的根。RC为CPU代言，与整个计算机系统其它部分通讯，比如CPU通过它访问内存，通过它访问PCIe系统中的设备。

CPU像皇上一样高高在上，而RC好比皇上身边当红的太监，皇上想叫下面的人做点事情，通过太监传达；下面的人也是通过太监，向皇上反应一些情况。不过，这个太监不寻常，它是有根（root）的。

RC的内部实现很复杂，PCIe Spec也没有规定RC该做什么，还是不该做什么。我们也不需要知道那么多，只需清楚：它一般实现了一条内部PCIe总线（BUS 0)，以及通过若干个PCIe bridge，扩展出一些PCIe Port，如下图所示：

 

图2.3

PCIe Endpoint，就是PCIe终端设备，比如PCIe SSD，PCIe网卡等等，而Legacy Endpoint，接口是PCIe，但是内部的行为却和传统的PCI或者PCI-x一样（比如支持IO空间）。这些Endpoint可以直接连在RC上，也可以通过Switch连到PCIe总线上。Switch用于扩展链路，提供更多的端口用以连接Endpoint。拿USB打比方，我们计算机主板上提供的USB口有限，如果你要连接很多USB设备，比如无线网卡、无线鼠标、USB摄像头、USB打印机、U盘等等，这时候不够用，怎么办？我会去找马云，向它买个USB HUB，下面这个就不错：

 

图2.4

Switch扩展了PCIe端口，靠近RC的那个端口，我们叫上游端口(upstream port)，而分出来的其他端口，我们叫下游端口(downstream port)。一个Switch只有一个上游端口，可以扩展出若干个下游端口。下游端口可以直接连接Endpoint，也可以连接Switch，扩展出更多的PCIe端口。

 

图2.5

对每个Switch来说，它下面的Endpoint或者Switch，都是归他管的：上游下来的数据，它需要甄别数据是传给它下面哪个设备，然后进行转发；下面设备向RC传数据，也要通过Switch代为转发的。因此，Switch的作用就是扩展PCIe端口，并为挂在它上面的设备（endpoint 或者switch)提供路由和转发服务。

每个Switch内部，也是有一根内部PCIe总线的，然后通过若干个Bridge，扩展出若干个下游端口，如下图所示：

 

图2.6

最后小结一下：

PCIe采用的是树形拓扑结构，RC是树的根，或者主干，它为CPU代言，与PCIe系统其它部分通讯，一般为通讯的发起者；Switch是树枝，树枝上有叶子(Endpoint)，也可节外生枝，Switch上连Switch，归根结底，是为了连接更多的Endpoint。 Switch为它下面的Endpoint或Switch提供路由转发服务； Endpoint是树叶，诸如SSD，网卡，显卡等等，实现某些特定功能(function)。我们还看到有所谓的Bridge，用以将PCIe总线转换成PCI总线，或者反过来，不是我们要讲的重点，忽略之。PCIe与采用总线共享式通讯方式的PCI不同，PCIe采用点到点(Endpoint to Endpoint)通讯方式，每个设备独享通道带宽，速度和效率都比PCI好。

最后，以一个实际的计算机系统例子结束本文：

 

图2.7