深入理解Linux系统调用过程

深入理解Linux系统调用过程

---

一、操作说明

• 以40号系统调用sendfile为例
• 通过汇编指令触发该系统调用
• 通过gdb跟踪该系统调用的内核处理过程
• 重点阅读分析系统调用入口的保存现场和恢复现场

相关参考：
孟宁老师课件 以及
https://cloud.tencent.com/developer/article/1492374

二、系统调用知识预备

2.1 中断

我们知道，中断是操作系统的一个重要概念，是操作系统并发操作的的基石。下面是中断的大致分类。

• 外部中断（硬件中断）
• 内部中断（软件中断）/异常
  • 故障（fault）
  • 陷阱（trap）【系统调用从用户态进入内核态的方式】

2.2 用户态和内核态

在Linux 中分为用户态和内核态两种运行状态。
对于普通进程，平时都是运行在用户态下，仅拥有基本的运行能力。当进行一些特殊操作，比如说要打开文件(open)然后进行写入(write)、分配内存(malloc)时，就会切换到内核态。
内核态进行相应的检查，如果通过了，则按照进程的要求执行相应的操作，分配相应的资源。
这种机制就被称为系统调用，用户态进程发起调用，切换到内核态，内核态完成，返回用户态继续执行，是用户态唯一主动切换到内核态的合法手段(exception 和 interrupt 是被动切换)。

2.3 系统调用

系统调⽤的库函数就是我们使⽤的操作系统提供的 API（应⽤程序编程接⼝），API 只是 函数定义。系统调⽤是通过特定的软件中断（陷阱 trap） 向内核发出服务请求，int $0x80 和syscall指令的执⾏就会触发⼀个系统调⽤。C库函数内部使⽤了系统调⽤的封装例程， 其主要⽬的是发布系统调⽤，使程序员在写代码时不需要⽤汇编指令和寄存器传递参数来 触发系统调⽤。⼀般每个系统调⽤对应⼀个系统调⽤的封装例程，函数库再⽤这些封装例 程定义出给程序员调⽤的 API ，这样把系统调⽤终封装成⽅便程序员使⽤的C库函数。

Linux系统调用过程

• 当⽤户态进程调⽤⼀个系统调⽤时，CPU切换到内核态并开始执⾏system_call（entry_INT80_32或entry_SYSCALL_64）汇编代码，其 中根据系统调⽤号调⽤对应的内核处理函数
• 保存现场，执行中断函数，恢复现场，中断返回（简要来说就是这么些）

Linux系统调用传参（为编写嵌入式汇编做准备）

• 32位x86体系结构下普通的函数调⽤是通过将参数压栈的⽅式传递的。系统调⽤从⽤户 态切换到内核态，在⽤户态和内核态这两种执⾏模式下使⽤的是不同的堆栈，即进程的⽤户态堆栈和进程的内核态堆栈，传递参数⽅法⽆法通过参数压栈的⽅式，⽽是通过寄存器 传递参数的方式。

• 32位x86体系结构下寄存器的⻓度⼤32位。除了EAX⽤于传递系统调⽤号外，参数按顺序赋值给EBX、ECX、EDX、ESI、EDI、EBP，参数的个数不能超过6个， 即上述6个寄存器。如果超过6个就把某⼀个寄存器作为指针，指向内存，就可以通过内 存来传递更多的参数。

• 64位x86体系结构下普通的函数调⽤和系统调⽤都是通过寄存器传递参数，RDI、RSI、RDX、RCX、R8、R9这6个寄存器⽤ 作函数/系统调⽤参数传递，依次对应第 1 参数到第 6 个参数。

三、具体实验过程

3.1 运行环境

• macOS
• 虚拟机: Parallels Desktop
• 虚拟机环境: Ubuntu 1804

3.2 环境准备

• 查询系统调用号
  学号340，通过查阅Linux源代码中的arch/x86/entry/syscalls/syscall_64.tbl 可以找 到40号sendfile系统调用对应的内核处理函数为__x64_sys_sendfile64.

sendfile 相关介绍：
sendfile系统调用在内核版本2.1中被引入，目的是简化通过网络在两个本地文件之间进行的数据传输过程。sendfile系统调用的引入，不仅减少了数据复制，还减少了上下文切换的次数。
sendfile(socket, file, len);

• 安装开发工具及下载内核源代码

# 安装相关依赖
sudo apt install build-essential
sudo apt install qemu # install QEMU 
sudo apt install libncurses5-dev bison flex libssl-dev libelf-dev
# 下载解压linux内核源码
sudo apt install axel
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/ linux-5.4.34.tar.xz 
xz -d linux-5.4.34.tar.xz 
tar -xvf linux-5.4.34.tar cd linux-5.4.34

• 配置内核选项

make defconfig # Default configuration is based on 'x86_64_defconfig'
make menuconfig  
# 打开debug相关选项
Kernel hacking  ---> 
    Compile-time checks and compiler options  ---> 
       [*] Compile the kernel with debug info 
       [*]   Provide GDB scripts for kernel debugging
 [*] Kernel debugging 
# 关闭KASLR，否则会导致打断点失败
Processor type and features ----> 
   [] Randomize the address of the kernel image (KASLR)

配置相关：

• 编译和运行内核

make -j$(nproc) 
# nproc gives the number of CPU cores/threads available
# 测试内核是否正常加载运⾏，因为没有⽂件系统终会kernel panic 
qemu-system-x86_64 -kernel arch/x86/boot/bzImage  
# 此时还不能正常运行

• 制作根⽂件系统

# 下载 busybox源代码解压，解压完成后，配置编译，并安装。
axel -n 20 https://busybox.net/downloads/busybox-1.31.1.tar.bz2 
tar -jxvf busybox-1.31.1.tar.bz2 
cd busybox-1.31.1

make menuconfig 
#记得要编译成静态链接，不⽤动态链接库。
Settings  --->
    [*] Build static binary (no shared libs) 
#然后编译安装，默认会安装到源码⽬录下的 _install ⽬录中。 
make -j$(nproc) && make install

#pwd = ~
mkdir rootfs
cd rootfs
cp ../busybox-1.31.1/_install/* ./ -rf
mkdir dev proc sys home 
sudo cp -a /dev/{null,console,tty,tty1,tty2,tty3,tty4} dev/

• 准备init脚本⽂件放在根⽂件系统跟⽬录下（rootfs/init），init⽂件内容如下。记得给init脚本添加可执⾏权限

#!/bin/sh
 mount -t proc none /proc 
 mount -t sysfs none /sys
 echo "Wellcome MyOS!"
 echo "--------------------" 
 cd home
 /bin/sh 

chmod +x init

• 打包成内存根⽂件系统镜像

#打包成内存根⽂件系统镜像 
find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../ rootfs.cpio.gz 
#测试挂载根⽂件系统，看内核启动完成后是否执⾏init脚本 
# cd.. 退到rootfs.cpio.gz所在的目录
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz

• 运行结果

3.3 汇编改写手动触发系统调用

• 在 rootfs/home 目录下新建文件 sendfile-asm.c

我们通过写一个小程序触发这一系统调用。使用内联汇编小程序sendfile-asm.c如下：

int main()
{
    asm volatile(
    "movl $0x28,%eax
	" //使⽤EAX传递系统调⽤号40
    "syscall
	" //触发系统调⽤ 
    );
    return 0;
}

• gcc编译（这里采用静态编译）
  gcc -o sendfile-asm sendfile-asm.c -static

• 重新打包成内存根文件系统镜像。
  find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../ rootfs.cpio.gz

• 启动虚拟机
  qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s -nographic -append "console=ttyS0"

• 观察结果

在我们的构建系统的根目录下可发现可执行文件sendfile

3.4 通过GDB进行调试

• 连接进行调试

接上步启动虚拟机，此时虚拟机会暂停在启动界面。
在另一个terminal中开启gdb调试 gdb vmlinux。连接进行调试，target remote:1234。

• 为40号系统调用打断点b __64x_sys_sendfile64,通过c继续运行，此时在qemu虚拟机运行可执行文件sendfile。就可发现该文件确实触发了系统调用。即我们通过汇编实现了系统调用。

3.5 系统调用入口的保存现场和恢复现场

• 通过bt可观察当前堆栈信息
  • 第一层/ 顶层 __x64_sys_sendfile 系统调用函数所在
  • 第二层 do_syscall_64 获取系统调用号， 前往系统调用函数
  • 第三层 entry_syscall_64 中断入口，做保存线程工作，调用 do_syscall_64
  • 第四层 OS相关

从中，我们可发现该系统调用涉及到do_syscall_64和entry_SYSCALL_64两个内核函数。

---

• 首先断点定位到/home/tx/linux-5.4.34/fs/read_write.c的1511行：

• 进入do_sendfile函数查看，在这里是运行程序的代码段，前期的保存现场工作已经完成。
• 执行完这个函数，发现回到了函数堆栈上一层的do_sys_call_64 中,接下来要执行的 syscall_return_slowpath 函数要为恢复现场做准备。

• 继续执行，发现再次回到了函数堆栈的上一层，entry_SYSCALL_64 ，接下来执行的是用于恢复现场的汇编指令.

• 最后伴随着pop指令，恢复了rdi和rsp寄存器。系统调用完成。

四、总结

最后，我们来总结下系统调用的整个过程：

• 1. 通过汇编指令syscall 触发系统调用，并从MSR寄存器找到中断函数入口，此时，代码执行到/home/tx/linux-5.4.34/arch/x86/entry/entry_64.S 目录下的ENTRY(entry_SYSCALL_64)入口，然后开始通过swapgs 和压栈动作保存现场。
• 2. 接着跳转到了/linux-5.4.34/arch/x86/entry/common.c 目录下的 do_syscall_64 函数，在ax寄存器中获取到系统调用号，接着去执行系统调用的具体内容。
• 3. 接着程序跳转到/linux-5.4.34/fs/read_write.c 下的do_writev 函数，并开始执行
• 4. 在函数执行完后回到步骤3中的syscall_return_slowpath(regs); 准备进行现场恢复操作，
• 5. 接着程序再次回到arch/x86/entry/entry_64.S，执行现场的恢复，最后两句，完成了堆栈的切换。

保存和恢复现场过程：syscall指令触发系统调用 --> entry_SYSCALL_64( )执行现场保存 --> do_syscall_64( )查找调用入口并执行 --> 准备恢复现场 --> entry_SYSCALL_64( )最后完成现场恢复