20145223 《信息安全系统设计基础》第14周学习总结
第九章 虚拟存储器 教材学习内容总结
虚拟存储器是硬件异常、硬件地址翻译、主存、磁盘文件和内核软件的完美交互，它为每个进程提供了一个大的、一致的和私有的地址空间。
通过一个很清晰的机制，虚拟存储器提供了三个重要的能力：
·(1)它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，它高效地使用了主存。
·(2)它为每个进程提供了一致的地址空间，从而简化了存储器管理。
·(3)它保护了每个进程的地址空间不被其他进程破坏。
物理和虚拟寻址
1. 物理寻址
·计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组。每字节都有一个唯一的物理地址PA。第一个字节的地址为0，接下来的字节的地址为1，再下一个为2，依此类推。
·给定这种简单的结构，CPU访问存储器的最自然的方式就是使用物理地址，我们把这种方式称为物理寻址。
2. 虚拟寻址
·使用虚拟寻址时，CPU通过生成一个虚拟地址来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址。将一个虚拟地址转换为物理地址的任务叫做地址翻译。
·CPU芯片上叫做存储器管理单元的专用硬件，利用存放在主存中的查询表来动态翻译虚拟地址，该表的内容是由操作系统管理。
地址空间
定义：一个非整数地址的有序集合：{0,1,2,...}。
·如果地址空间中的整数是连续的，那么我们说它是一个线性地址空间。
·在一个带虚拟存储器的系统中，CPU从一个有N = 2 ^ n个地址空间中生成虚拟地址，这个地址空间称为虚拟地址空间：{0,1,2,3,...,N-1}。
·一个地址空间的大小是由表示最大地址所需要的倍数来描述的。
·一个系统还有一个物理地址空间，它与系统中物理存储器的M字节相对应：{0,1,2,...M-1}。
·地址空间清楚地区分了数据对象(字节)和它们的属性(地址)。
虚拟存储器的基本思想：允许每个数据对象有多个独立的地址，其中每个地址都选自一个不同的地址空间。
虚拟存储器作为缓存的工具
·虚拟存储器被组织为一个由存放在磁盘上N个连续的字节大小的单元组成的数组。
·每个字节都有一个唯一的虚拟地址，这个唯一的虚拟地址是作为到数组的索引的。
·每个虚拟页的大小为P = 2 ^ n字节。
·物理存储器被分割为物理页(PP)，大小也为P字节(物理页也称为页帧)。
·在任意时刻，虚拟页面的集合都分为三个不相交的子集：
（1）未分配的：VM系统还未分配(或者创建)的页。未分配的块没有任何数据和它们相关联，因此也就不占用任何磁盘空间。(没有调用malloc或者mmap的)
（2）缓存的：当前缓存在物理存储中的已分配页。(已经调用malloc和mmap的，在程序中正在引用的)
（3）未缓存的：没有缓存在物理存储器中的已分配页。(已经调用malloc和mmap的，在程序中还没有被引用的)
·DRAM缓存的组织结构：
（1）不命中处罚很大
（2）是全相联的——任何虚拟页都可以放在任何的物理页中。
（3）替换算法精密
（4）总是使用写回而不是直写。
页表
·页表就是一个页表条目的数组。
·页表将虚拟地址映射为物理地址，每个页表项(PTE)，有一个有效位，标识该地址是否在内存的缓存中，还有物理页号或磁盘地址。(如果设置了有效位：地址字段表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页。如果没有设置有效位：空地址：表示该虚拟页未被分配,否则这个地址指向该虚拟页在磁盘上的起始位置。）
页命中，收到虚拟地址时，根据该虚拟地址查找页表，如果有效位有效，则说明在内存中，则利用该地址构造物理地址。当CPU读取一个字的时候，地址翻译硬件将虚拟地址作为一个索引来定位PTE，并从存储器中读取它。
缺页：如果地址不再页表中，则牺牲一条记录，加载进新的地址映射和内容。
虚拟存储器作为存储器管理的工具
·按需页面调度和独立的虚拟地址空间的结合简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。
（1）简化链接：独立的地址空间允许每个进程的存储器映像使用相同的基本格式，而不管代码和数据实际存放在物理存储器的何处。
（2） 简化加载：虚拟存储器使得容易想存储器中加载可执行文件和共享文件对象。
（3） 简化共享：独立地址空间为操作系统提供了一个管理用户进程和操作系统自身之间共享的一致机制。
（4） 简化存储器分配：虚拟存储器为向用户进程提供一个简单的分配额外存储器的机制。
虚拟存储器作为存储器保护的工具
·PTE的三个许可位：
（1）SUP：表示进程是否必须运行在内核模式下才能访问该页
（2）READ：读权限
（3）WRITE：写权限
地址翻译
地址翻译：一个N元素的虚拟地址空间（VAS）中的元素和一个M元素的物理地址空间（PAS）之间的映射。
MAP:VAS→PAS∪空
MAP=A：如果虚拟地址A处的数据在PAS的物理地址A处
MAP= 空：如果虚拟地址A处的数据不在物理存储器中
·CPU中的一个控制寄存器页表基址寄存器指向当前页表，n位的虚拟地址包含两个部分：一个p位的虚拟页面偏移（VPO） 和一个（n-p）位的虚拟页号，页表条目中的物理页页号和虚拟地址中的VPO串联起来，就得到了相应的物理地址。
·利用TLB加速地址翻译
TLB：翻译后备缓冲器，是一个小的、虚拟存储的缓存，其中每一行都保存着一个由单个PTE组成的块。
·多级页表——采用层次结构，用来压缩页表。以两层页表层次结构为例，好处是：如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。
Linux虚拟存储器系统
·Linux为每个进程维持了一个单独的虚拟地址空间。
·内核虚拟存储器包含内核中的代码和数据结构。
·内核虚拟存储器的某些区域被映射到所有进程共享的物理页面。
·linux将虚拟存储器组织成一些区域（也叫做段）的集合。
·一个区域就是已经存在的（已分配的）虚拟存储器的连续片；
·允许虚拟地址空间有间隙；内核不用记录那些不存在的页，这样的页也不用占用存储器；
·一个具体区域结构包含下面的字段：
vm_start：指向这个区域的起始处。
vm_end：指向这个区域的结束处。
vm_prot：描述这个区域的内包含的所有页的读写许可权限。
vm_flags：描述这个区域内页面是与其他进程共享的，还是这个进程私有的(还描述了其他一些信息)。
vm_next：指向链表中下一个区域结构。
存储器映射
·Linux通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容，这个过程称为存储器映射。
·虚拟存储器区域可以映射到两种类型的对象的一种：
（1）Unix文件上的普通文件：一个区域可以映射到一个普通磁盘文件的连续部分。
（2）匿名文件：一个区域也可以映射到一个匿名文件，匿名文件是由内核创建的，包含的全是二进制零。
·无论在哪种情况下，一旦一个虚拟页面被初始化了， 它就在一个由内核维护的专门的交换文件之间换来换去。
·在任何时刻，交换空间都限制着当前运行着的进程能够分配的虚拟页面的总数。
共享对象
·共享对象对于所有把它映射到自己的虚拟存储器进程来说都是可见的。即使映射到多个共享区域，物理存储器中也只需要存放共享对象的一个拷贝。
私有对象
·私有对象运用的技术：写时拷贝
·在物理存储器中只保存有私有对象的一份拷贝
fork函数
·当fork函数被当前进程调用时，内核为新进程创建各种数据结构，并分配给它一个唯一的PID。
·当fork在新进程中返回时，新进程现在的虚拟存储器刚好和调用fork时存在的虚拟存储器相同。
·当这两个进程中的任一个后来进行写操作时，写时拷贝机制就会创建新页面，因此，也就为每个进程保持了私有地址空间的抽象概念。
execve函数
·execve函数在当前进程中加载并运行包含在可执行目标文件a.out中的程序，用a.out程序有效地替代了当前程序。
·加载并运行a.out需要以下几个步骤：
（1）删除已存在的用户区域。删除当前进程虚拟地址用户部分中的已存在的区域结构。
（2）映射私有区域。为新程序的文本、数据、bss和栈区域创建新的区域结构。
（3）映射共享区域。如果a.out程序与共享对象(或目标)链接，那么这些对象都是动态链接到这个程序的，然后再映射到用户虚拟地址空间中的共享区域内。
（4）设置程序计数器(PC)。execve做的最后一件事情就是设置当前进程上下文中的程序计数器，使之指向文本区域的入口点。
使用map函数的用户级存储器映射
·Unix进程可以使用mmap函数来创建新的虚拟存储器区域，并将对象映射到这些区域当中
void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offest);
//若成功则为指向映射区域的指针，若出错则为MAP_FAILDE（-1）
·munmap函数删除虚拟存储器的区域。
int munmap(void *start,size_t length);
//若成功则返回0，若失败则返回-1.
动态存储分配
·一个动态存储器分配器维护着一个进程的虚拟存储器区域，称为堆。
·堆是一个请求二进制0的区域；对于每个进程，内核维护着一个变量brk，它指向堆的顶部。
·分配器将堆视为一组不同大小的块的集合来维护。
·每个块就是一个连续的虚拟存储器组块，要么是已分配的，要么是未分配的。
显式分配器：如通过malloc,free或C++中通过new,delete来分配和释放一个块。
隐式分配器：也叫做垃圾收集器。自动释放未使用的已分配的块的过程叫做垃圾回收。
·malloc不初始化它返回的存储器，calloc是一个基于malloc的包装函数，它将分配的存储器初始化为0。
·想要改变一个以前已分配的块的大小，可以使用realloc函数。
·分配器必须对齐块，使得它们可以保存任何类型的数据对象。
·在大多数系统中，以8字节边界对齐。
·不修改已分配的块：分配器只能操作或者改变空闲块。一旦被分配，就不允许修改或者移动它。
碎片
（1）外部碎片：在一个已分配块比有效载荷在时发生的。
（2）外部碎片：当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空闲块足够大可以来处理这个请求时发生的。
放置分配的块的策略有：
（1）首次适配（first fit）
（2）下一次适配（next fit）
（3）最佳适配（best fit）。
垃圾收集
·Mark%Sweep垃圾收集器由标记（mark）阶段和清除（sweep）阶段组成。
·标记阶段标记出根节点的所有可达的和已分配的后继，而后面的清除阶段释放每个被标记的已分配块。典型地，块头部中空闲的低位中的一位来表示这个块是否被标记了。
学习进度条
学习进度条
| 代码行数（新增/累积） | 博客量（新增/累积） | 学习时间（新增/累积） | 重要成长 | |
|---|---|---|---|---|
| 目标 | 3000行 | 20篇 | 200小时 | |
| 第0周 | 0/0 | 1/1 | 5/5 | |
| 第1周 | 0/0 | 1/2 | 10/15 | |
| 第2周 | 300/300 | 1/3 | 15/30 | |
| 第3周 | 200/500 | 1/4 | 10/40 | |
| 第5周 | 150/650 | 1/5 | 10/50 | |
| 第6周 | 50/700 | 1/6 | 8/58 | |
| 第7周 | 0/700 | 1/7 | 8/64 | |
| 第8周 | 0/700 | 2/9 | 5/70 | |
| 第9周 | 181/881 | 2/11 | 7/77 | |
| 第10周 | 0/881 | 2/11 | 5/52 | |
| 第11周 | 1017/1898 | 2/13 | 7/59 | |
| 第12周 | 0/1898 | 3/16 | 5/64 | |
| 第13周 | 421/2339 | 1/17 | 5/69 | |
| 第14周 | 0/2339 | 1/18 | 5/74 |