基于mykernel 2.0编写一个操作系统内核

实验内容及要求：

基于mykernel 2.0编写一个操作系统内核

1. 按照https://github.com/mengning/mykernel 的说明配置mykernel 2.0，熟悉Linux内核的编译；
2. 基于mykernel 2.0编写一个操作系统内核，参照https://github.com/mengning/mykernel 提供的范例代码
3. 简要分析操作系统内核核心功能及运行工作机制

首先，配置实验所需环境。本实验所需环境为VMWare Workstation14 Pro 及Ubuntu 18.04虚拟机。

总体来讲，本实验需要linux内核文件和QEMU内核虚拟运行环境。

虚拟机开机后，在桌面开启终端，先转入root模式（这一步必备！）

su root

然后输入下述命令：

wget https://raw.github.com/mengning/mykernel/master/mykernel-2.0_for_linux-5.4.34.patch
sudo apt install axel
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz
xz -d linux-5.4.34.tar.xz
tar -xvf linux-5.4.34.tar
cd linux-5.4.34
patch -p1 < ../mykernel-2.0_for_linux-5.4.34.patch
sudo apt install build-essential gcc-multilib  libncurses5-dev bison flex libssl-dev libelf-dev

下载时间约20分钟，平均速度100kb/s。

上述代码主要做的事情包括：

1.安装了wget。wget 是一个从网络上自动下载文件的自由工具，支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载，并可以使用 HTTP 代理。"wget" 这个名称来源于 “World Wide Web” 与 “get” 的结合；

2.安装了Axel。Axel是一个命令行下载工具，支持多来源、多线程；

3.xzhetar命令是解包/解压命令，该语句将下载的压缩包解压至终端当前工作的本目录；

4.patch命令：Linux patch命令用于修补文件。patch命令让用户利用设置修补文件的方式，修改，更新原始文件。倘若一次仅修改一个文件，可直接在指令列中下达指令依序执行。如果配合修补文件的方式则能一次修补大批文件，这也是Linux系统核心的升级方法之一；

5.build-essential：Ubuntu缺省情况下，并没有提供C/C++的编译环境，因此还需要手动安装。但是如果单独安装gcc以及g++比较麻烦。为了解决该痛点，Ubuntu提供了build-essential软件包，方便对内核源码文件进行编译。

下载好内核源码及相应的依赖应用后，接下来编译内核源码：

make defconfig 
make -j$(nproc)

这两条语句所做的分别是，一是生成内核编译，按照默认的i386_defconfig生成.config；二是加入-j参数，以加快编译速度。

 编译过程大概持续10分钟。（i5-9300H+4G虚拟机内存）

编译过程如下：

再接下来，安装QEMU内核虚拟运行环境。

QEMU是一套由法布里斯·贝拉(Fabrice Bellard)所编写的以GPL许可证分发源码的模拟处理器，在GNU/Linux平台上使用广泛。Bochs，PearPC等与其类似，但不具备其许多特性，比如高速度及跨平台的特性，通过KQEMU这个闭源的加速器，QEMU能模拟至接近真实电脑的速度。

安装代码如下：

sudo apt install qemu 

安装后，在同一终端（或者说，在刚刚下载编译过的linux内核文件夹根目录的终端）输入下述命令：

qemu-system-x86_64 -kernel arch/x86/boot/bzImage

即可进入 QEMU虚拟环境打开内核，界面如下：

 可以看到，时钟中断处理程序my_timer_handler在周期性执行。

至此，实验环境准备就绪。

在本次实验中，为了达到实验目标，通过学习体会linux进程切换的原理，必须要对源代码进行一些修改。

在源代码目录结构中，mymain.c 是内核运行的程序，只要内核启动，它就会一直执行（在本例中，不停执行意味着它不停地输出my_start_kernel here i语句，如上图所示）；myinterrupt.c是中断处理程序，内核执行时有一个中断处理程序的上下文环境，周期性地产生的时钟中断信号，调用触发myinterrupt.c（在本例中，中断处理程序意味着它会输出my_time_handler here语句，如上图所示）。

具体而言，我们本次实验要做的内容，就是在mymain.c的基础上完成PCB和进程管理的代码，在myinterrupt.c的基础上完成进程切换代码，以实现一个可运行的操作系统内核。

1.定义PCB进程控制块数据结构mypcb.h

源代码如下：

#define MAX_TASK_NUM        4
#define KERNEL_STACK_SIZE   1024*2
/* CPU-specific state of this task */

struct Thread {
    unsigned long        ip;
    unsigned long        sp;
};

typedef struct PCB{
    int pid;
    volatile long state;    /* -1 unrunnable, 0 runnable, >0 stopped */
    unsigned long stack[KERNEL_STACK_SIZE];
    /* CPU-specific state of this task */
    struct Thread thread;
    unsigned long    task_entry;
    struct PCB *next;
}tPCB;

void my_schedule(void);

在mypcb.h中定义了PCB进程控制块数据结构。在该数据结构中，每个变量名的含义和用途为：

pid：进程id，用于区分进程；

state：进程状态。此处定义了三种状态，分别用-1、0、>0来表示。初始化值为-1，当被调度运行时，变为0，当被阻塞时，变为>0；

stack[]：进程使用的堆栈；

thread：当前正在执行的线程信息；

task_entry：进程入口函数；

next：指向下一个进程PCB的指针。所有进程的PCB以链表的形式存储。

下一步则是修改mymain.c中的代码。修改后代码如下：

#include <linux/types.h>
#include <linux/string.h>
#include <linux/ctype.h>
#include <linux/tty.h>
#include <linux/vmalloc.h>


#include "mypcb.h"

tPCB task[MAX_TASK_NUM];
tPCB * my_current_task = NULL;
volatile int my_need_sched = 0;

void my_process(void);


void __init my_start_kernel(void)
{
    int pid = 0;
    int i;
    /* Initialize process 0*/
    task[pid].pid = pid;
    task[pid].state = 0;/* -1 unrunnable, 0 runnable, >0 stopped */
    task[pid].task_entry = task[pid].thread.ip = (unsigned long)my_process;
    task[pid].thread.sp = (unsigned long)&task[pid].stack[KERNEL_STACK_SIZE-1];
    task[pid].next = &task[pid];
    /*fork more process */
    for(i=1;i<MAX_TASK_NUM;i++)
    {
        memcpy(&task[i],&task[0],sizeof(tPCB));
        task[i].pid = i;
        task[i].thread.sp = (unsigned long)(&task[i].stack[KERNEL_STACK_SIZE-1]);
        task[i].next = task[i-1].next;
        task[i-1].next = &task[i];
    }
    /* start process 0 by task[0] */
    pid = 0;
    my_current_task = &task[pid];
    asm volatile(
        "movq %1,%%rsp
	"     /* set task[pid].thread.sp to rsp */
        "pushq %1
	"             /* push rbp */
        "pushq %0
	"             /* push task[pid].thread.ip */
        "ret
	"                 /* pop task[pid].thread.ip to rip */
        : 
        : "c" (task[pid].thread.ip),"d" (task[pid].thread.sp)    /* input c or d mean %ecx/%edx*/
    );
} 

int i = 0;

void my_process(void)
{    
    while(1)
    {
        i++;
        if(i%10000000 == 0)
        {
            printk(KERN_NOTICE "this is process %d -
",my_current_task->pid);
            if(my_need_sched == 1)
            {
                my_need_sched = 0;
                my_schedule();
            }
            printk(KERN_NOTICE "this is process %d +
",my_current_task->pid);
        }     
    }
}

修改主要体现在两个方面：

一是修改了my_start_kernel函数；

二是增加了my_process函数，它可以实现时间片轮转调度，也就是规定一时间片，任何一个进程在执行一个时间片后让出CPU资源。

再下一步，则是修改myinterrupt.c。

#include <linux/types.h>
#include <linux/string.h>
#include <linux/ctype.h>
#include <linux/tty.h>
#include <linux/vmalloc.h>

#include "mypcb.h"

extern tPCB task[MAX_TASK_NUM];
extern tPCB * my_current_task;
extern volatile int my_need_sched;
volatile int time_count = 0;

/*
 * Called by timer interrupt.
 * it runs in the name of current running process,
 * so it use kernel stack of current running process
 */
void my_timer_handler(void)
{
    if(time_count%1000 == 0 && my_need_sched != 1)
    {
        printk(KERN_NOTICE ">>>my_timer_handler here<<<
");
        my_need_sched = 1;
    } 
    time_count ++ ;  
    return;      
}

void my_schedule(void)
{
    tPCB * next;
    tPCB * prev;

    if(my_current_task == NULL 
        || my_current_task->next == NULL)
    {
        return;
    }
    printk(KERN_NOTICE ">>>my_schedule<<<
");
    /* schedule */
    next = my_current_task->next;
    prev = my_current_task;
    if(next->state == 0)/* -1 unrunnable, 0 runnable, >0 stopped */
    {        
        my_current_task = next; 
        printk(KERN_NOTICE ">>>switch %d to %d<<<
",prev->pid,next->pid);  
        /* switch to next process */
        asm volatile(    
            "pushq %%rbp
	"         /* save rbp of prev */
            "movq %%rsp,%0
	"     /* save rsp of prev */
            "movq %2,%%rsp
	"     /* restore  rsp of next */
            "movq $1f,%1
	"       /* save rip of prev */    
            "pushq %3
	" 
            "ret
	"                 /* restore  rip of next */
            "1:	"                  /* next process start here */
            "popq %%rbp
	"
            : "=m" (prev->thread.sp),"=m" (prev->thread.ip)
            : "m" (next->thread.sp),"m" (next->thread.ip)
        ); 
    }  
    return;    
}

重点在my_schedule函数上，它实现了进程的切换。

接下来，重新编译内核源代码（命令不变），并启动QEMU观察结果：

make defconfig 
make -j$(nproc)
qemu-system-x86_64 -kernel arch/x86/boot/bzImage

 至此，进程切换功能完成。

回答老师提出的问题：操作系统核心的功能有哪些？

简单来说，操作系统内核需要实现进程管理、内存管理、文件管理、I/O管理等功能；为了实现这些功能，操作系统必须引入时钟和中断机制。本次实验涉及到操作系统的进程管理和中断，在进程管理部分，采用的是时间片轮转算法。

关于操作系统内核的机制：主要包括四点：

1.时钟管理；

2.中断机制；

3.原语；

4.系统控制的数据结构及处理，如PCB。

1) 时钟管理
在计算机的各种部件中，时钟是最关键的设备。时钟的第一功能是计时，操作系统需要通过时钟管理，向用户提供标准的系统时间。另外，通过时钟中断的管理，可以实现进程的切换。诸如，在分时操作系统中，釆用时间片轮转调度的实现；在实时系统中，按截止时间控制运行的实现；在批处理系统中，通过时钟管理来衡量一个作业的运行程度等。因此，系统管理的方方面面无不依赖于时钟。
2) 中断机制
引入中断技术的初衷是提高多道程序运行环境中CPU的利用率，而且主要是针对外部设备的。后来逐步得到发展，形成了多种类型，成为操作系统各项操作的基础。例如，键盘或鼠标信息的输入、进程的管理和调度、系统功能的调用、设备驱动、文件访问等，无不依赖于中断机制。可以说，现代操作系统是靠中断驱动的软件。

中断机制中，只有一小部分功能属于内核，负责保护和恢复中断现场的信息，转移控制权到相关的处理程序。这样可以减少中断的处理时间，提高系统的并行处理能力。
3) 原语
按层次结构设计的操作系统，底层必然是一些可被调用的公用小程序，它们各自完成一个规定的操作。其特点是：
它们处于操作系统的最底层，是最接近硬件的部分。
这些程序的运行具有原子性——其操作只能一气呵成（这主要是从系统的安全性和便于管理考虑的）。
这些程序的运行时间都较短，而且调用频繁。

通常把具有这些特点的程序称为原语（Atomic Operation)。定义原语的直接方法是关闭中断，让它的所有动作不可分割地进行完再打开中断。

系统中的设备驱动、CPU切换、进程通信等功能中的部分操作都可以定义为原语，使它们成为内核的组成部分。
4) 系统控制的数据结构及处理
系统中用来登记状态信息的数据结构很多，比如作业控制块、进程控制块(PCB)、设备控制块、各类链表、消息队列、缓冲区、空闲区登记表、内存分配表等。为了实现有效的管理，系统需要一些基本的操作，常见的操作有以下三种：
进程管理：进程状态管理、进程调度和分派、创建与撤销进程控制块等。
存储器管理：存储器的空间分配和回收、内存信息保护程序、代码对换程序等。
设备管理：缓冲区管理、设备分配和回收等。

以上是《计算机操作系统》西电版教材中给出的具体解释。

参考内容：

* [庖丁解牛Linux内核MOOC课程](https://mooc.study.163.com/course/1000072000?_trace_c_p_k2_=12d5497350df49e2a6e3878d1a5aa5ae&share=2&shareId=1000001002#/info) - 国家精品在线开放课程
* [kernel-in-kernel](https://github.com/jserv/kernel-in-kernel)
* [操作系统导论](https://github.com/mengning/linuxkernel)
* [《庖丁解牛Linux内核分析》](https://j.youzan.com/pfzVI9)