进程、轻量级进程（LWP）、线程

进程、轻量级进程（LWP）、线程

• 进程：程序执行体，有生命期，用来分配资源的实体
• 线程：分配CPU的实体。
  •   用户空间实现，一个线程阻塞，所有都阻塞。
  •   内核实现，不会所用相关线程都阻塞。用LWP实现，用线程组表示这些线程逻辑上所属的进程。

进程描述符

• 进程描述符（简称pd, process descriptors），结构体是：task_struct
  •   数据较多，存放在kenerl的动态内存空间。
  •   pd的引用放在thread_info中，
    •    thread_info与内核栈，放在一个8K空间（它的地址8K对齐）。内核程序使用的栈空间很小。
    •    thread_info在底部，内核栈在顶部向下增长。
      •     好处：多CPU时方便，每个CPU根据自己的栈指针就可以找到当前的pd （以后用current表示当前CPU运行的进程描述符）。
        •      esp(内核栈指针)低8位置零，就是thread_info地址。
    •    每进程有自己的thread_info, (分配释放函数: alloc_thread_info, free_thread_info)

• 描述符的内容
  •   相关的ID （一个4元素数组）
    •    进程ID （PID）
      •     PID按创建顺序连续增长，到最大值后从最小值开始。
      •     0号进程：交换进程（swapper）
      •     有PID可用位图，表示那一个PID可用，至少占一个页。
    •    线程组ID（tgid），用LWP实现多线程支持
      •     多进程时，进程id，就是线程组id, 也就是组长的pid（LWP）。 getpid() 取的是线程组的id(tgid), 也是组长的pid.
      •     单线程时，pid = gid。所以getpid,也是真正的pid.
    •    进程组ID(pgrp)。
    •    回话的ID(session).
      •     组ID，都是组长的PID。FIXME: 但pb也有各组长的PID
        •      线程组长：tgid
        •      进程组长：signal->pgrp ，
        •      会话长：signal->session
    •    管理ID数据结构——哈希表管理 (利用id找到所用相关的pd，方便)。
      •     一个哈希表数组(pid_hash),存放四个哈希表， 每一个表代表一类id (pid, tgid, pgrp, session)
      •     每个哈希表的由数组（索引为哈希值）和二维链表(嵌入到进程描述符内的pids中)实现
        •      第一维链表：哈希冲突链表。
        •      第二维链表：要查找的值相同的链表, 叫per-PID list（同一组的所有线程，同一组的所有进程，同一会话的所有进程）；
    •    进程组ID（pgrp）, 回话ID（session）在共享信号的数据结构里。因为同一进程内的所有LWP,这两个ID都是一样的

•  
  •   家族关系：由pd里的链表（下级）和pd指针（上级）实现
    •    关系：
      •     亲生父亲：创建自己的进程，或是托孤进程（创建自己的进程死了）。
      •     父亲：自己死时要发信号告知的。一般是亲生父亲，有时是监控自己的进程 （调用ptrace）
      •     孩子：
      •     兄弟：
    •    监控（自己起的名字，类似于监护。由于管理方式相同，也归为家族关系）
      •     监控的进程列表:ptrace_children
      •     被监控的其他进程：ptrace_list (类似于被监控的兄弟)
    •    在链表里为了管理方便：
      •     最大儿子的兄弟是父亲
      •     最小儿子的弟弟也是父亲
      •     父亲保管最大儿子，和最小儿子

•  
  •   进程资源及资源限制：
    •    CPU相关：
      •     占用CPU总时间
      •     用户的最大进程数
    •    内存相关：
      •     进程地址空间
      •     锁住内存大小
      •     进程页数 （只有记录，没有限制）
      •     堆大小，栈大小
    •    资源相关：
      •     文件：
        •      core dump大小
        •      最大文件大小
        •      打开文件个数
      •     进程同步与通信
        •      锁数目，
        •      悬挂信号数据
        •      在消息列队中占的大小
    •    相关数据结构 和 处理流程
      •     pd->sigal->rlim 是一个表示进程资源使用情况以及限制的结构 的数组。
      •     表示进程资源使用情况以及限制的结构:包含当前值，最大值两个数值。
    •    只有超级用户才能增大资源限制。
    •    一般用户登陆时：
      •     kernel创建root进程，减少limit,
      •     建一个 shell子进程，继承limit.
      •     把shell进程的用户，改成登陆的那个用户

•  
  •   进程状态（state）
    •    运行，TASK_RUNNING
      •     组织pd的结构：就绪进程链：
        •      一个CPU一组链表，每个链表表示一种优先级。
    •    阻塞
      •     可中断阻塞，TASK_INTERRUPTIBLE
        •      可被硬件中断，“释放资源”事件，信号唤醒。
      •     不可中断阻塞，TASK_UNINTERRUPTIBLE
        •      可被硬件中断，“释放资源”事件，唤醒。
        •      但不能被信号唤醒。可用于驱动程序中。
      •     组织pb的结构：等待列队： 每一类事件一个列队，用内嵌链表实现（虽然没列出内嵌链表节点）
        •      列队头：
          •       自旋锁:防止有一个主函数和中断函数同时操作列队。
        •      列队节点：
          •       独占标志：表示该进程是否要独占资源 （不再唤醒别的进程）
          •       指向pd的指针
          •       用于唤醒进程的回调函数。（提供进程的执行机会，是否操作等待列队由用户决定）
    •    停止
      •     停止TASK_STOPPED
        •      被信号停止
      •     追踪TASK_TRACED
        •      该进程被一个调试进程监控以后，收到任何一个信号就进入该状态
      •     组织pb的结构：FIXME: 信号的等待列队？
    •    退出
      •     退出_僵尸EXIT_ZOMBIE
        •      进程终止，资源没有被回收（父进程要用，没有调wait系列函数）
      •     退出_死亡EXIT_DEAD
        •      进程终止，资源正在被回收（父进程要用，没有调wait系列函数）。
        •      一旦资源回收完成，进程描述符也就被回收了。
        •      它防止该进程再次被wait.
      •     组织pb的结构：不挂到队列上，只在家族关系中，等待父进程收回资源

进 程控制 ：

• 阻塞（current阻塞到某个列队上）：
  •   基本流程
    •    临时生成一个列队节点，初始化。
    •    改变current的状态，放入节点，挂到列队上。
    •    调度 （=====》至此，阻塞完成。 一旦被别的进程唤醒====》从调度函数中返回）
    •    从等待列队上摘除节点。
  •   变化：
    •    将挂列队、调度、从列队删除三步拆开，便于灵活处理。
    •    可中断的、限时、独占的函数类似。只不过进程状态、调度函数、独占标志不同。
    •    非独占的从列队开始添加，独占的从末尾添加。（但一个列队内既有独占的，又有非独占的等待进程，很少见）

• 唤醒：
  •   基本流程
    •    唤醒一个进程：调用节点里的回调函数
    •    唤醒的时候从列队开头依次唤醒，直到唤醒一个独占的后停止。
  •   变化
    •    是否只唤醒可中断的进程. （_interruptible后缀）
    •    唤醒的独占进程的数目（1个，多个（_nr后缀），所有（_all后缀））
    •    唤醒后是否不检查优先级，马上给予CPU （有_sync的不检查优先级）。

• 进程切换
  •   切换pgd (全局页目录)，此章不讨论。
  •   切换内核栈，硬件上下文
    •    硬件上下文，就是CPU的寄存器。
      •     一部分（大多数CPU寄存器（除了通用寄存器））在pd中保存(task_struct->thread, 类型是thread_struct)，
      •     一部分（通用寄存器）保存在内核栈中.
    •    原来用硬件指令（）保存CPU信息。后来改成软件（一个个MOV指令）
      •     容易控制，可以挑选信息保存，便于优化。不保存的做其他用（如：进程间传递）
        •           far jmp：跳至目标进程的TSSD。而linux是每个CPU一个TSS，不是每进程一个
      •     对于一些寄存器（ds、es）可以检查值。
      •     与用硬件指令保存时间差不多。
  •   switch_to 宏
    •    三个参数:
      •     prev: 要换走的进程，一般是当前进程
      •     next: 要换到的进程。
      •     last: 传出参数。当前进程再次被换到时，最后一个占用CPU的进程。（prev指向的进程 就是 next指向的进程 的last）
    •    步骤：
      •     栈切换, 完成后就是在新进程的上执行了:
        •      保存prev（放在eax）
        •      eflags，ebp入内核栈；
        •      保存并装载新的esp （旧的esp放到prev->thread.esp，新的esp是next->thread.esp）
          •       此时current就是新的esp所指的thread_info内的task指针
      •     设置返回地址:
        •      prev进程以后得到执行时的__switch_to的返回地址: __switch_to后的第一条指令, 放入prev->thread.eip,
        •      准备next进程的从__switch_to返回的地址: next->thread.eip入栈.
      •     调用__switch_to ()函数，该函数动作如下：
        •      更新CPU的相关信息(tss和gdt):
          •       存next->thread.esp0(内核栈低)到本地TSS.esp0中。
          •       所在CPU的全局段表里的TLS段, 设成next进程的.
          •       更新tss的I/O位图.
        •      更新CPU的寄存器(pd->thread (tss) 与 CPU寄存器交换数据):
          •       保存FPU, MMX, XMM寄存器, 先不装载以后需要时通过中断装载(TODO: )
          •       保存prev的fs, gs寄存器. 装载next的
          •       装载next的debug寄存器(debug寄存器一个8个, 进程切换时只需6个)
        •      返回
          •       prev放入eax (prev就是新进程的last)
          •       ret
      •     ret返回的地址: (__switch_to之前被存入栈中, __switch_to ret时进入eip)
        •      如果是next新进程, next->thread.eip是iret_from_fork.
        •      如果next不是新进程:
          •       弹出ebp, elfags
          •       把eax放入last变量 (prev就是next进程的last)

任务状态段（一个存CPU状态的数组，tss_struct init_tss[]）

•     每个CPU用段上的一个元素。（FIXME: 用于：用户模式要进入内核模式时，设置相应寄存器）
  •       TSS上存内核栈地址。CPU上的程序从用户模式转到内核模式，设置esp。
  •       TSS存I/O端口许可位图。用户模式程序用到I/O时，检查有无权限
  •       所以，进程切换时，要保存的寄存器在pd->thread中。
    •         thread_struct不是thread_info。thread_info中只有少量的数据或指针, 用于通过esp快速定位数据
•     进程切换时，更新TSS上的信息。
  •       CPU控制单元再从TSS上取需要的信息。
  •       即反应了CPU的当前进程情况，又不需要维护所有进程的状态数据。
•     TSS的描述符在GDT里。
  •       TSSD：任务状态段描述符 （其实应该叫任务状态描述符，每个TSSD，表示一个CPU的状态, FIXME: ：具体以源码为准）
  •       CPU原始设计，每个进程一个TSS元素。
  •       linux设计，每个CPU一个TSS元素。
  •       cpu里的tr寄存器，保存着自己的TSSD（即init_ttss[cpu_id]），不用总上gdt里去取。
  进程创建: clone, fork, vfork系统调用
  •   clone系统调用
    •    参数:
      •     执行函数(fn), 参数(arg)
      •     flags|死亡时给父进程发的信号 (clone_flags): 以下介绍clone_flags
        •      资源共享
          •       段,页,打开文件共享:
            •        页表(不是页, CLONE_VM),
            •        打开文件(clone_files),
            •        建一个新tls段(clone_settls)
          •       路径和权限设置:
            •        clone_fs: 共享根目录, 当前目录, 创建文件初始权限.
            •        clone_newns: 新的根路径, 自己的视野看文件系统
          •       线程通信
            •        clone_sighand: 信号处理action, 阻塞和悬挂的信号
            •        clone_sysvsem: 共享undoable信号量操作
        •      进程关系
          •       同父: clone_parent 创建进程与新进程是兄弟 (同父), 新进程不是创建进程的子进程
            •        为了方便期间, 以下讨论暂时不考虑这一因素(它很容易实现), 认为创建进程就是父进程
          •       同一个线程组: clone_thread. 属于同一个进程(线程组)
          •       都被trace: clone_ptrace
          •       子进程不被trace: clone_untrace (内核设置, 覆盖clone_ptrace)
        •      返回tid
          •       向父进程返回tid: clone_parent_settid
          •       向子进程返回tid: clone_child_settid
        •      子进程的状态:
          •       子进程开始就stop: clone_stopped
        •      进程死亡或exec通知:
          •       启动内核机制: 如果子进程死亡或exec, 它自己空间内的tid(*ctid)清零, 并唤醒等待子进程死亡的进程.
      •     赋给子进程的资源
        •      子进程的栈(父进程alloc的内存地址)
        •      线程局部仓库段(tls)
      •     返回子进程tid的地址
        •      父进程用户空间内的地址
        •      子进程用户空间的地址
•   clone, fork, vfork实现方式
  •   大致相同:
    •     系统调用服务例程sys_clone, sys_fork, sys_vfork三者最终都是调用do_fork函数完成.
      •     do_fork的参数与clone系统调用的参数类似, 不过多了一个regs(内核栈保存的用户模式寄存器). 实际上其他的参数也都是用regs取的
  •    区别在于:
    •     clone:
      •      clone的API外衣, 把fn, arg压入用户栈中, 然后引发系统调用. 返回用户模式后下一条指令就是fn.
      •      sysclone: parent_tidptr, child_tidptr都传到了 do_fork的参数中
      •      sysclone: 检查是否有新的栈, 如果没有就用父进程的栈 (开始地址就是regs.esp)
    •     fork, vfork:
      •      服务例程就是直接调用do_fork, 不过参数稍加修改
      •      clone_flags:
        •       sys_fork: SIGCHLD|0;
        •       sys_vfork: SIGCHLD| (clone_vfork | clone_vm)
      •      用户栈: 都是父进程的栈.
      •      parent_tidptr, child_ctidptr都是NULL.

• 具体实现函数do_fork() (内核函数)的工作流程:
  •   分配PID, 确定子进程到底是否traced.
    •    分配空闲的PID
    •    确定clone_ptrace位. (确定子进程到底要不要被trace, 而不是参数所说的希望被trace)
      •     设置该位: 参数已设该位, 且创建线程被trace中
      •     清除该位: 父进程没有被trace, 或 clone_untrace已经设置.
  •   复制进程描述符(copy_process)
    •    检查clone_flags是否兼容, 是否安全
      •     clone_newns 与 clone_fs 互斥
      •     clone_sighand 是 clone_thread 的必要条件: 线程必须共享信号处理
      •     clone_vm 是 clone_sighand 的必要条件 : 共享信号处理, 首先要共享信号处理的代码(在进程页面里)
      •     附加的安全检查: security_task_create(clone_flags)
    •    复制进程描述符
      •     在父进程的thread_info里保存浮点寄存器: __unlazy_fpu()
      •     分配新的进程pd(alloc_task_struct), 并拷贝父进程pd
      •     分配新的thread_info(alloc_thread_info), 并拷贝父进程的thread_info.
      •     新的thread_info和新分配的pd 相互引, 新pd的引用计数设为2 (表示:新pd有用, 且不是僵尸进程)
    •    相关计数加1: (此处先相关计数检查， 都通过后再都加1)
      •     检查并增加: 用户拥有进程数, 系统总共进程数.
        •      一般来说, 所有进程的thread_info总和, 不超过物理内存的1/8
      •     新进程的可执行格式的引用计数(FIXME: pd里标有可执行个数吗)
      •     系统执行fork总数.
    •    进程pd的关键域的设置(顺序与源码可能不一致):
      •     进程关系
        •      设置父子关系 (parent, real_parent, 考虑被trace的情况)
        •      设置新pd的PID
        •      设置tgid, 线程组长的pd(pd->group_leader). (根据是不是线程组长, 即clone_thread位是否为0)
        •      加入PID哈希表(pid, tgid, 如果是进程组长加入pgid和sid表),(调attach_pid())
        •      拷贝tid到父进程的用户空间(parent_tidptr)
      •     拷贝资源(如果clone_flags没标明共享):
        •      文件,目录,内存:copy_files, copy_mm, copy_namespace,
        •      进程通信: copy_signal, copy_sighand, copy_semundo
      •     设置子进程的内核栈(thread_info), 内核态相关寄存器(thread_struct, 不知道这个结构的具体用处): copy_thread()
        •      子进程的thread_struct:
          •       esp, esp0 - 内核栈顶, 内核栈底
          •       eip - ret_from_fork()的地址 (用户态切到内核态的第一条指令)
          •       I/O许可位图 - 如果父进程有, 就拷贝一份过来
          •       TLS - 如果用户空间提供了TLS段, 拷贝过来
        •      设置子进程的内核栈:
          •       child_regs.esp = 传入的栈地址参数;
          •       child_regs.eax = 0, 给用户态的返回值是0
          •       清除thread_info中的, TIF_SYSCALL_TRACE位, 防止运行ret_from_fork时, 系统通知调试进程
          •       设置子进程的thread_info的cpuid
      •     设置调度信息(sched_fork())
        •      设置task_running状态,
        •      初始化调度参数(时间片)，
        •      子进程禁止内核抢占(thread_info.preempt_cout = 1)
      •     其他：
        •      如果没有被trace，pd->ptrace = 0;
        •      设置pd->exit_signal:
          •       有clone_thread位: 设为参数clone_flags中的退出信号
          •       没有clone_thread位: 设为-1 (表示进程终止时, 该LWP不给父进程发信号)
        •      pd->flags: 清除PF_SUPERPRIV , 设置PF_FORKNOEXEC
        •      大内核锁 pd->lock_depth = -1
        •      exec次数: pd->did_exec = 0
        •      拷贝child_tidptr到pd->set_child_tid. 以备子进程开始执行时, 把tid放到自己内存空间的child_tidptr
    •    返回pd
  •   设置父子进程的运行状态, 调度信息
    •    设置子进程的状态.
      •     挂信号： 如果创建出来的是停止(clone_stopped)或被trace(pd->ptrace里有PT_PTRACE位)的进程, 悬挂一个SIGSTOP信号.
        •      只有debugger发出SIGCONT信号后, 才能进入运行状态
      •     设状态，入列队：如果有clone_stopped位, 子进程设为stopped状态; 否则调用wake_up_new_task(), 把子进程加入就绪列队:
        •      调整父进程和子进程的调度参数 (主要是时间片)
        •      如果父子在同一CPU上运行, 且页表不同享, 子进程在插在父进程前
          •       子进程很可能exec, 不与父进程共享页. 这样防止父进程无用的copy on write.
        •      如果不同CPU上运行, 或者共享页表, 子进程放在列队最后
    •    如果父进程处于被调试状态, 程通知调试器
      •     当前进程给debugger进程发信号, 告知自己创建了子进程; 并停止自己(进入traced状态), 使debugger运行.
        •      子进程的pid保存在current->ptrace_message中, 供debugger用
        •      调试器发信号, 使父进程继续后, 再进行下一步; 否则父进程一直处于traced状态
    •    设置父进程状态
      •     如果有clone_vfork, 把自己放到一个等待列队.
        •      内核处理完系统调用后, 会执行调度, 这样就阻塞父进程了.
        •      直到子进程释放了它的内存地址空间, 即子进程终止或exec新程序, 用信号唤醒父进程.
  •   返回子进程的pid.
  •   子进程被调度后，执行pd.thread.eip(ret_from_fork). 调用关系(=>): ret_from_fork=>schedule_tail=>finish_task_switch.
    •    schedule_tail的另一件事就是: 把pid保存到地址pd->set_child_tid (创建进程使的parent_tidptr)
    •    finish_task_switch的动作是: 装载内核栈保存的寄存器（regs->eax为0）,返回到用户态。系统调用返回值就是eax(0)

• 内核线程：
  •   只运行于kernel模式，只能访问大于3G的空间。而普通进程在内核模式时，能访问整个4G空间
  •   创建方法, 类似于clone
    •    准备返回地址fn: 构造一个regs. 里面有fn, args, __KERNEL_CS等. regs->eip是汇编函数kernel_thread_helper
    •    do_fork (flags|CLONE_VM|clone_untraced, 0, &regs, 0, NULL, NULL)
      •     创建线程, 与父进程共享页. 用上步构造的regs初始化新程的内核栈
    •    新线程被调度后. 由ret_from_fork, 用regs恢复寄存器, 开始执行kernel_thread_helper
    •    kernel_thread_helper: 把args压入栈, call fn(args, fn都寄存器中)
  •   典型的内核线程:
    •    进程0: 所有进程的祖先
      •     编译时存在.
        •      pd, 内核栈: init_task, init_thread_union
        •      资源: init_mm, init_files, init_fs.  信号: init_signals, init_sighand
        •      页表: swapper_gd_dir
      •     功能
        •      初始化系统数据,
          •       多CPU系统中, 开始时BIOS禁用其他CPU.
          •       初始化系统数据后, 进程0拷贝自己到其他CPU的调度列队上, 启动其他CPU, 所有的PID都是0.
        •      使能中断
        •      创建内核线程1, (函数是init)
        •      进入idle
    •    进程1:
      •     init函数 exec可执行文件init, 使内核线程变成了普通进程.
      •     管理其他进程, 称为托孤进程
    •    其他内核线程:
      •     执行工作列队:
        •      ksoftirqd: 执行 softlets
        •      kblockd: 执行工作列队 kblockd_workqueue, 定期激活块设备驱动
        •      keventd (又叫events): 处理工作列队 keventd_wq
      •     管理资源:
        •      kapmd: 电源管理
        •      kswapd: 交换进程, 用于回收内存资源
        •      pdflush: flush脏的磁盘缓存

进程销毁

• 进程终止
  •   系统调用
    •    整个进程终止: exit_group(), 由do_group_exit处理系统调用. c函数 exit()也是用的这系统调用
    •    某个线程终止: _exit(), 由do_exit处理. C函数中用到此系统调用的API: pthread_exit
  •   do_group_exit流程: (整个组内至少有一个线程调用它, 用于整组协调)
    •    检查线程组的退出过程是否启动: 检查signal_group_exit(线程组内的公共数据)是否非零. 如果没有启动, 执行一下操作来启动退出过程:
      •     设置启动标志signal_group_exit.
      •     存储终止码(exit_group的参数), 在current->signal->group_exit_cold
      •     向其他线程发SIG_KILL信号, (它们收到信号后, 调do_exit())
    •    调用do_exit, 使本线程退出
  •   do_exit流程:
    •    设置线程的终止标志, 退出码
      •     设置PF_EXITING, 标明要被终止
      •     设置pd->exit_code
        •      系统调用参数
        •      或是内核提供的错误码, 表示异常终止
    •    释放资源:
      •     删除该进程的定时器
      •     去除对资源的引用:
        •      exit_mm, __exit_files;
        •      __exit_fs(root路径,工作路径, 创建文件权限), exit_namespace(挂载的文件系统的视野);
        •      exit_thread(thread_struct), exit_sem,
    •    如果这个线程的函数实现了一种可执行格式, 可执行格式数的引用计数--; FIXME: 还没看到这块儿, 凑合翻译的不一定对
    •    改变父子关系, 并向父进程发信号, 改变自己的状态(exit_notify)
      •     托付终止线程创建的子进程:
        •      如果终止线程还有同组线程: 终止线程创建的子进程, 作为与同组线程的子进程.
        •      否则: 终止线程创建的子进程, 作为孤儿进程, 由init进程托管
      •     向父进程发信号
        •      exit_signal有意义 && 最后线程 :  发exit_signal
        •      否则:
          •       被trace : 发SIGCHLD
          •       没被trace : 不发信号
      •     僵尸自己或直接死亡,  并设置PF_DEAD位
        •      exit_signal没意义 && 没被trace : 直接死亡 (这种情况没有发信号)
          •       变成EXIT_DEAD状态,
          •       release_task() (后面介绍). pd引用计数变为1, 不会马上释放
        •      否则: 僵尸
          •       exit_signal有意义 || 被trace : 僵尸
        •      整理"僵尸"与"发临僵尸信号"的关系:
          •       将发信号的条件中"最后线程"去掉, 可简化为(exit_signal有意义)||(被trace) == (发信号)
          •       可得出后: (发信号) == (僵尸)
          •       又可推出: (没有trace && exit_signal有意义 && 不是最后进程) == (僵尸了,但没法信号) , 这种情况在移除死进程时, 会给其父进程发信号 (FIXME: 待验证)
    •    调度. 调度函数会忽略僵尸进程, 但会减少僵尸进程的pd的使用计数; 会检查PF_DEAD位, 把它变成exit_dead状态

进程移除 TODO: