2017-2018-1 20155320 《信息安全系统设计基础》第十一周学习总结

2017-2018-1 20155320 《信息安全系统设计基础》第十一周学习总结

参考老师提供的教材内容导读

教材学习内容总结

第9章 虚拟存储器

• 虚拟存储器（VM）：对主存的抽象概念
• 将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据

9.1 物理和虚拟寻址

• 存储器管理单元：地址翻译，利用存放在主存中的查询表动态翻译虚拟地址

• 物理地址

计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组，每字节都有一个唯一的物理地址PA。

根据物理地址寻址的是物理寻址。

• 虚拟地址

虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。

使用虚拟寻址时，CPU通过生成一个虚拟地址VA来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址（这个过程叫做地址翻译，相关硬件为存储器管理单元MMU）

9.2 地址空间

• 一个包含N=2^n个地址的虚拟地址空间就叫做一个n位地址空间
• 主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址

9.3 虚拟存储器作为缓存的工具

• 虚拟存储器——虚拟页VP，每个虚拟页大小为P=2^平字节

• 物理存储器——物理页PP，也叫页帧，大小也为P字节。

• 任意时刻，虚拟页面的集合都被分为三个不相交的子集：

  未分配的：VM系统还没分配/创建的页，不占用任何磁盘空间。

  缓存的：当前缓存在物理存储器中的已分配页

  未缓存的：没有缓存在物理存储器中的已分配页

• 页表是一个数据结构，存放在物理存储器中，将虚拟页映射到物理页。

  1.如果设置了有效位：

  地址字段表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页

  2.如果没有设置有效位：

  (1)空地址：表示该虚拟页未被分配

  (2)不是空地址：这个地址指向该虚拟页在磁盘上的起始位置。

9.4 虚拟存储器作为存储器管理的工具

• 操作系统为每个进程提供了一个单独的页表，也就是一个独立的虚拟地址空间
• 多个虚拟页面可以映射到同一个共享物理页面上
• 将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法称作存储器映射

9.5 虚拟存储器作为存储器保护的工具

SUP位表示进程是否必须运行在内核（超级用户）模式下才能访问该页

9.6地址翻译

• 1.当页面命中时，CPU动作：

  处理器生成虚拟地址，传给MMU

  MMU生成PTE地址，并从高速缓存/主存请求得到他

  高速缓存/主存向MMU返回PTE

  MMU构造物理地址，并把它传给高速缓存/主存

  高速缓存/主存返回所请求的数据给处理器。

• 2.处理缺页时：
  处理器生成虚拟地址，传给MMU

  MMU生成PTE地址，并从高速缓存/主存请求得到他

  高速缓存/主存向MMU返回PTE

  PTE中有效位为0，触发缺页异常

  确定牺牲页

  调入新页面，更新PTE

  返回原来的进程，再次执行导致缺页的指令，会命中

9.7 案例研究：Intel Core i7/Linux存储器系统

• 处理器包：四个核、一个大的所有核共享的L3高速缓存，一个DDR3存储器控制器。每个核包含一个层次结构的TLB、一个层次结构的数据和指令高速缓存，以及一组快速的点到点连接
• linux为每个进程维护一个单独的虚拟地址空间
• 内核虚拟存储器包含内核中的代码和数据结构
• 内核虚拟存储器的某些区域被映射到所有进程共享的物理页面
• linux页将一组连续的虚拟页面映射到相应的一组连续的物理页面。这就为内核提供了一种遍历的方法来访问物理存储器中任何特定的位置，例如，当它需要访问页表，或在一些设备上执行存储器映射的I/O操作，而这些设备被映射到特定的物理储存器位置时
• 内核虚拟存储器的其他区域包含每个进程都不相同的数据
• task_struct中的一个条码指向mm_struct，它描述了虚拟存储器的当前状态。其中pgd指向第一级页表（页全局目录）的基址。而mmap指向一个vm_area_structs的链表，其中每个vm_area_structs都描述了当前虚拟地址空间的一个区域。当内核运行这个进程时，它就将pgdf存放在CR3控制寄存器中

9.8 存储器映射

• 虚拟存储器区域可以映射到两种类型的对象：

  unix文件系统中的普通文件：一个区域可以映射到一个普通磁盘文件的连续部分。

  匿名文件：一个区域也可以映射到一个匿名文件，匿名文件是由内核创建的，包含的全是二进制零。

• 一旦一个虚拟页面被初始化了，它就在一个由内核维护的专门的交换文件（swap file）间换来换去

• 共享对象：一个对象可以被映射到虚拟存储器的一个区域，要么作为共享对象，或作为私有对象

• 私有对象，写时拷贝(copy-on-write):私有对象是使用一种叫做写时拷贝的技术被映射到虚拟存储器中的。如图中所示：只要有一个进程试图写私有区域内的某个页面，那么这个写操作就会触发一个保护策略。它就会在物理存储器中创建这个页面的一个新拷贝，更新页面条目指向这个新的拷贝，然后恢复这个页面的可写

• unix进程可以使用mmap函数来创建新的虚拟存储器区域，并将对象映射到这些区域中

• 动态存储器分配

  1.要求

  处理任意请求序列
  立即响应请求
  只使用堆
  对齐块
  不修改已分配的块
  2.目标：

  最大化吞吐率（吞吐率：每个单位时间里完成的请求数）
  最大化存储器利用率——峰值利用率最大化

• 碎片:虽然有未使用的存储器，但是不能用来满足分配请求时，发生这种现象。

• 1.内部碎片

发生在一个已分配块比有效载荷大的时候

易于量化。

• 2.外部碎片

发生在当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空间块足以处理这个请求时发生

难以量化，不可预测。

• 堆块的格式：

由一个字的头部，有效荷载，和可能的额外填充组成。

空闲块通过头部中的大小字段隐含地连接着，分配器可以通过遍历堆中所有的块，从而间接地遍历整个空闲块的集合。

• 放置策略(用于放置已分配的块)

1.首次适配

从头开始搜索空闲链表，选择第一个合适的空闲块

2.下一次适配

从上一次搜索的结束位置开始搜索
3.最佳适配

检索每个空闲块，选择适合所需请求大小的最小空闲块

• 申请额外的堆存储器要用到sbrk函数：

#include <unistd.h>

vid *sbrk(intptr_t incr);

成功则返回旧的brk指针，出错为-1

• 合并是针对于假碎片问题的，任何实际的分配器都必须合并相邻的空闲块。

• 有两种策略：
  立即合并与推迟合并

  1.区别
  （1）分配时间

  隐式的，分配时间是块总数的线性时间

  但是显式的，是空闲块数量的线性时间。

  （2）链表形式

  隐式——隐式空闲链表

  显式——双向链表，有前驱和后继，比头部脚部好使。

  2.排序策略：

  后进先出
  按照地址顺序维护

• 有两种基本方法：

1.简单分离存储

每个大小类的空闲链表包含大小相等的块，每个块的大小就是这个大小类中最大元素的大小。

（1）操作

如果链表非空：分配其中第一块的全部

如果链表为空：分配器向操作系统请求一个固定大小的额外存储器片，将这个片分成大小相等的块，并且连接起来成为新的空闲链表。

（2）优缺点

优点：时间快，开销小

缺点：容易造成内部、外部碎片

2.分离适配(这种方法快速并且对存储器使用很有效率。
)

每个空闲链表是和一个大小类相关联的，并且被组织成某种类型的显示或隐式链表，每个链表包含潜在的大小不同的块，这些块的大小是大小类的成员。

• Mark&Sweep垃圾收集器

  1. 有两个阶段：

  标记：标记出根节点的所有可达的和已分配的后继
  清除：释放每个未被标记的已分配块。

  2.相关函数：

  ptr定义为typedef void *ptr

• ptr isPtr(ptrp)：如果p指向一个已分配块中的某个字，那么就返回一个指向这个块的起始位置的指针b，否则返回NULL

• int blockMarked(ptr b)：如果已经标记了块b，那么就返回true

• int blockAllocated(ptr b)：如果块b是已分配的，那么久返回ture

• void markBlock(ptr b)：标记块b

• int length(ptr b)：返回块b的以字为单位的长度，不包括头部

• void unmarkBlock(ptr b)：将块b的状态由已标记的改为未标记的

• ptr nextBlock(ptr b)：返回堆中块b的后继

教材学习中的问题和解决过程

• 问题1：内部碎片与外部碎片的区别，感觉书上所说的量化之类的很抽象，这个在操作系统中也学到过，但是并不是十分清楚。

• 问题1解决方案：通过查找资料，在博客中外部碎片和内部碎片的区别
  

【内部碎片】
内部碎片就是已经被分配出去（能明确指出属于哪个进程）却不能被利用的内存空间；

【外部碎片】
外部碎片指的是还没有被分配出去（不属于任何进程），但由于太小了无法分配给申请内存空间的新进程的内存空闲区域。

代码调试中的问题和解决过程

在上一篇实验博客中

代码托管

上周考试错题总结

见上一篇ch06测试补交的博客

结对及互评

本周结对学习情况

• 20155326
  • 结对照片

• 结对学习内容

  • 第九章

其他（感悟、思考等，可选）

本周学习的内容与操作系统中学习有关存储管理的内容有很多重合的地方，学习起来感觉很熟悉，通过这次的学习更加加深了我对这两门课的理解。

学习进度条

	代码行数（新增/累积）	博客量（新增/累积）	学习时间（新增/累积）	重要成长
目标	5000行	30篇	200小时
第一周	5/5	1/1	15/15
第二周		1/2	23/38
第三周	206/327	1/3	28/66
第四周	206/327	1/4	10/77
第五周	285/568	1/5	20/97	主要学习了汇编及反汇编的相关知识
第六周	160/683	3/8	20/107
第七周	/	2/10	20/127	第四章学习内容和第二次实验
第八周		2/12	22/149	第十一章、第十二章
第九周	408/ 2582	3/15	21/170	第六章内容、第三次实验、课后pwd的实现
第十一周	174 / 3035	3/18	20/200	第九章内容、实验四

尝试一下记录「计划学习时间」和「实际学习时间」，到期末看看能不能改进自己的计划能力。这个工作学习中很重要，也很有用。
耗时估计的公式
：Y=X+X/N ，Y=X-X/N，训练次数多了，X、Y就接近了。

参考：软件工程软件的估计为什么这么难，软件工程 估计方法

• 计划学习时间:22小时

• 实际学习时间:20小时

• 改进情况：第九章内容、第四次实验
  (有空多看看现代软件工程 课件
  软件工程师能力自我评价表)

参考资料

• 《深入理解计算机系统V3》学习指导
• ...