20145219 《信息安全系统设计基础》第09周学习总结

20145219 《信息安全系统设计基础》第09周学习总结

教材学习内容总结

Unix I/O

• I/O

  1、输入就是从I/O设备拷贝数据到贮存，输出就是从主存拷贝数据到I/O设备。

  2、所有的I/O设备都被模型化为文件，而所有的输入输出都被当做对相应文件的读/写。

• 打开文件

  1、过程：应用程序向内核发出请求，要求内核打开相应的文件，内核返回文件描述符（一个小的非负整数）。

  2、内核记录有关这个文件的所有的信息，应用程序只需要记住这个描述符。

  3、Unix外壳创建的每个进程开始时都有三个打开的文件：

  • 标准输入（描述符为0）
  • 标准输出（描述符为1）
  • 标准错误（描述符为2）

  分别对应头文件<unistd.h>中的定义常量STDIN_FILENO、STDOUT_FILENO、STDERR_FILENO

• 改变当前的文件位置

  1、对于每个打开的文件，内核保持着一个文件位置k，初始为0。这个位置是从文件开头起始的字节偏移量。

  2、应用程序可以通过seek操作显式的设置文件的当前位置为k。

• 读写文件

  1、读操作：从文件拷贝n>0个字节到存储器，从当前文件位置k开始，然后将k增加到k+n。

  2、写操作：从存储器拷贝n>0个字节到一个文件，从当前文件位置k开始，然后更新k。

  3、给定一个大小为m字节的文件，k >= m 时执行读操作会触发一个称为end-of-file（EOF）的条件，应用程序能检测到这个条件，但是文件结尾处并没有明确的“EOF符号”。

• 关闭文件

  1、过程：应用通知内核关闭文件，内核释放文件打开时的数据结构，恢复描述符，释放存储器资源。

打开和关闭文件

• 打开文件

  1、open()函数：若成功，返回值为新文件描述符（返回的描述符总是在进程中当前没有打开的最小描述符）；若出错，返回值为-1

    #include <sys/types.h>
    #include <sys/stat.h>
    #include <fcntl.h>
  
    int open(char *filename,int fliags,mod_it mode)；
  

  参数：

  • filename：文件名

  • flags：指明进程打算如何访问这个文件

      表示访问方式额外提示：
      O_RDONLY:只读。
      O_WRONLY:只写。
      O_RDWR：可读可写。
      
      一位或者多位掩码的或：
      O_CREAT,表示如果文件不存在，就创建它的一个截断的文件。
      O_TRUNC:如果文件已经存在，就截断它。
      O_APPEND：在每次写操作前，设置文件位置到文件的结尾处。
    

  • mode：指定了新文件的访问权限位
    

    每个进程都有一个umask，通过调用umask函数设置。当进程通过带某个带mode参数的open函数用来创建一个新文件的时候，文件的访问权限位被设置为mode & ~umask。

• 关闭文件：

  1、close()函数：若成功则返回0，不成功则为-1。

    #include<unistd.h>
  
    int close(int fd);	//fd：即文件的描述符。
  

  2、 关闭一个已经关闭的描述符程序会出错。

读和写文件

• 读函数

    #include<unistd.h>
  
    ssize_t read(int fd,void *buf,size_t n);
    //ssziet被定义为int，有符号;sizet被定义成unsigned int，无符号
  

  1、返回值：若成功，返回读字节数，即实际传送的字节数量；若EOF（给定了m字节大小的文件，在从k字节位置开始读或者写的时候，发现k>=m），返回0；若出错，返回-1。

  2、含义：read函数从描述符为fd的当前文件位置拷贝最多n个字节到存储器位置buf。

• 写函数

    #include<unistd.h>
  
    ssize_t write(int fd,const void *buf,size_t n);
  

  1、返回值：若成功，返回写的字节数；若出错，返回-1

  2、含义：write函数从存储器位置buf拷贝至多n个字节到描述符fd的当前文件位置。

• 通过调用lseek函数，应用程序能够显示地修改当前文件的位置。

• 不足值

  1、在某些情况下，read和write传送的字节比应用程序要求的要少（这些不表示有错误）：

  • 读时遇到EOF。
  • 从终端读文本行。
  • 读和写网络套接字。

  2、实际上除了EOF，在读写磁盘文件时，不会遇到不足值。如果想创建健壮的诸如web服务器这样的网络应用，就必须通过反复调用read和write处理不足值，直到所有需要的字节都传送完毕。

用RIO包健壮地读写

• RIO包会自动处理不足值。

• RIO提供了两类不同的函数：

  • 无缓冲的输入输出函数。这些函数直接在存储器和文件之间传送数据，没有应用级缓冲，对将二进制数据读写到网络和从网络读写二进制数据尤其有用。
  • 带缓冲的输入函数。这些函数允许高效地从文件中读取文本行和二进制数据（函数从内部缓冲区中拷贝一个文本行，当缓冲区变空的时候，会自动地调用read重新填满缓冲区），这些文件的内容缓存在应用级缓冲区内，类似于像printf这样的标准I/O函数提供的缓冲区。带缓冲的RIO输入函数是线程安全的，它在同一个描述符上可以被交错地调用。

• RIO的无缓冲的输入输出函数

    #include "csapp.h"
    
    ssize_t rio_readn(int fd,void *usrbuf,size_t n);
    ssize_t rio_writen(int fd,void *usrbuf,size_t n);
  

  1、rio_readn函数从描述符fd的当前文件位置最多传送n和字节到存储器位置usrbuf，遇到EOF时只能返回一个不足值。返回值：若成功为传送的字节数；EOF为0（一个不足值）；出错为-1。

  2、rio_writen函数从位置usrbuf传送n个字节到描述符fd。返回值：若成功为传送的字节数；出错为-1；绝不会返回不足值。

  3、对于同一个描述符，可以任意交错地调用rio_readn和rio_writen。通过调用rio_readn和rio_writen函数，应用程序可以在存储器和文件之间直接传送数据。

• RIO的带缓冲的输入函数

  以实现计算文本文件中文本行的数量为例：

    #include "csapp.h"
    
    void rio_readinitb(rio_t *rp, int fd);
    
    ssize_t rio_readlineb(rio_t *rp,void *usrbuf, size_t maxlen);
    ssize_t rio_readnb(rio_t *rp, void *usrbuf, size_t n);
  

  1、rio_readinitb函数将描述符fd和地址rp处的一个类型为rio_t的读缓存区联系起来。

  2、rio_readlineb函数从文件rp中读出一个文本行，包括换行符，拷贝到存储器位置usrbuf，并用空字符结束这个文本行。最多读到maxlen-1个字节，最后一个给结尾的空字符。

  3、rio_readnb函数从文件rp中读取最多n个字符到存储器位置usrbuf中。

  4、返回值：成功则返回传送的字节数，EOF为0，出错为-1。

  5、一个文本行就是一个由换行符结尾的ASCII码字符序列。在Unix系统中，换行符（‘ '）与ASCII码换行符（LF）相同，数字值为0x0a。

• RIO读程序的核心是rio_read函数

读取文件元数据

• 元数据

  1、应用程序能够通过调用stat和fstat函数，检索到关于文件的信息（元数据）。

    #include <unistd.h>
    #include <sys/stat.h>
  
    int stat(cost char *filename,struc sta *buf);//stat函数以文件名作为输入
    int fstat(int fd,struct stat *buf);//fstat函数以文件描述符作为输入
  

  2、stat数据结构
  

  • st_size成员包含了文件的字节数大小
  • st_mode成员编码了文件访问许可位和文件类型

  2、Unix提供的宏指令根据st_mode成员来确定文件的类型

    宏指令：S_ISREG()   普通文件	二进制或文本数据
    宏指令：S_ISDIR()   目录文件	包含其他文件的信息
    宏指令：S_ISSOCK()  网络套接字	通过网络和其他进程通信的文件
  

共享文件

• 内核表示打开文件的三个相关的数据结构

  • 描述符表：每个打开的描述符表项指向文件表中的一个表项
  • 文件表：所有进程共享这张表，每个表项包括文件位置，引用计数，以及一个指向v-node表对应表项的指针
  • v-node表：所有进程共享这张表，包含stat结构中的大多数信息

• 典型的打开文件的内核数据结构

  描述符各自引用不同的文件，没有共享文件。
  

• 文件共享

  多个描述符通过不同的文件表表项引用同一个文件。
  

• 父子进程共享文件

  子进程继承父进程打开文件。
  

I/0重定向

• Unix外壳提供了I/O重定向操作符，允许用户将磁盘文件和标准输入输出联系起来

• 重定向工作方式：使用dup2函数

    #include<unistd.h>
  
    int dup2(int oldfd,int newfd);
    //dup2函数拷贝描述符表表项oldfd到描述符表表项newfd，覆盖描述表表项newfd以前的内容。
  

• 若newfd已经打开，dup2会在拷贝oldfd之前关闭newfd

标准I/O和I/O函数

• ANSI C定义了一组高级输入输出函数，称为标准I/O库。提供了打开和关闭文件的函数（fopen和fclose），读和写字节的函数（fread和fwrite），读和写字符串的函数（fgets和fputs），格式化I/O函数（scanf和printf）

• 标准I/O库将一个打开的文件模型化为一个流。一个流就是一个指向FILE类型的结构的指针。

• 每个ANSI C程序开始时都有三个打开的流：

    #include<stdio.h>
  
    extern FILE *stdin;     //标准输入，描述符0
    extern FILE *stdout;    //标准输出，描述符1
    extern FILE *stderr;    //标准错误，描述符2
  

• 类型为FILE的流是对文件描述符和流缓存区的抽象。流缓冲区的目的和RIO读缓冲区的一样，就是使开销较高的UnixI/O系统调用的数量尽可能的少。

• I/O关系
  

  • Unix I/O是在操作系统内核中实现的。

  • 较高级别的RIO和标准I/O函数都是基于Unix函数来实现的。

  • RIO函数是专为本书开发的read和write的健壮的包装函数。他们自动处理不足值，并且为读文本行提供一种高效的带缓冲的方法

  • 标准I/O函数提供了Unix函数的一个更加完整的带缓冲的替代品，包括格式化的I/O例程。标准I/O流，从某种意义上是全双工的，但对流的限制和对套接字的限制有时会相互冲突。

    • 限制一：跟在输出函数之后的输入函数
    • 限制二：分在输入函数的输出函数

    因此，建议在网络套接字上不要使用标准 I/O函数来进行输入和输出，而要使用健壮的RIO函数。

课后练习题

• 10.1
  

• 10.2
  

• 10.3
  

• 10.4

  dup2(5,0)

• 10.5
  

代码调试中的问题和解决过程

• 问题1：本周的代码都涉及到一个头文件csapp.h，编译代码时遇到csapp不存在的问题
  

• 解决方法：通过上网查找发现csapp.h文件其实是作者自己弄的一个头文件，Linux中并不包含这个。网上说在教材配套网站http://csapp.cs.cmu.edu/public/code.html上可以下载，但是这个网站打不开……最后，我在CSDN.NET上找到了csapp.h和csapp.c，按照网上说的在csapp.h文件中#endif前加上了#include"csapp.c"，并用sudo mv csapp.h csapp.c /usr/include命令将csapp.h和csapp.c文件放到了/usr/include文件夹中，并用gcc xxx.c -o xxx -lpthread语句通过了编译（因为代码中包含多线程）。

• 问题2：问题2其实是问题1的延续，当我通过编译后，准备运行时，新的问题出现了：运行可执行文件时提示no such file or directory，但是我用ls命令显示当前文件夹内容时可执行文件是存在的……
  

• 解决方法：参考卢肖明同学发表的博客，将代码中的Open、Close替换成open、close，就可以运行了。之后将其他有大写字母的函数都替换成小写，其他的代码也就可以运行了。

• 问题3：运行p598练习题10.1时，我的运行结果是fd=-1，不是应该出现的正确结果fd=3
  

• 解决方法：我看着fd=-1的结果，想到之前学习课本open函数时，如果返回值是-1的话说明打开出错，只有打开成功，返回值为新文件描述符（返回的描述符总是在进程中当前没有打开的最小描述符）。后来，我打开代码又一次从第一行开始看，突然发现，我之前只顾着解决代码不能正常编译、运行的问题，却忘了新建两个open函数要打开的文件foo.txt和baz.txt，新建之后就成功了。之后的其他代码也像这个一样就没有问题了。

本周代码托管截图

• 代码托管连接
• 第1~4周项目分文件夹时弄乱了已删除，从第五周开始存在新项目里。
• PS：git上学期用还好好的，这学期就总是会出问题，果然当初新建项目时很重要，新建的项目格式有问题之后调整就很费劲，总是会莫名其妙（其实是对git命令的含义不了解）的传不上去，或者全部覆盖（碰见问题按照百度解决时跟自己预期的结果不同）……还好我的代码一直留着，覆盖也只是重新传一次相同的，就是上传时间会改……

本周代码行数统计截图

其他（感悟、思考等，可选）

本周学习了系统的输入、输出，了解了一些I/O函数，只看书的页数的话，本章的页数很少，相较于之前几周感觉轻松不少。但是，页数少并不意味着不重要或是用时少，认真去理解系统的输入、输出对于我们理解程序的运行至关重要，而每一个函数的参数、不同情况的返回值也需要我们仔细研读。

学习进度条

	代码行数（新增/累积）	博客量（新增/累积）	学习时间（新增/累积）	重要成长
目标	5000行	30篇	400小时
第零周	0/0	1/1	15/15	安装虚拟机
第一周	0/0	1/2	25/40	学习Linux命令
第二周	62/62	1/3	25/65	学习C编程
第三周	176/238	1/4	20/85	学习数的表示和计算
第五周	57/295	1/5	20/105	学习汇编语言，了解逆向思想
第六周	150/445	1/6	25/130	学习Y86处理器和HCL硬件描述语言
第七周	115/560	1/7	20/150	学习存储器相关知识
第八周	0/560	2/9	30/180	期中总结
第九周	186/746	2/11	20/200	Unix I/O及相关函数

参考资料

• 《深入理解计算机系统V2》学习指导
• 《深入理解计算机系统》实验楼课程
• 教材导读与每周考试重点
• ...