zoukankan      html  css  js  c++  java
  • 第2章:Windows系统总述(一)

    大内核 MacroKernel(类 Unix、Win9x)

    使用该结构的操作系统本身也是一个程序,所有基本的 OS 服务都运行在同一内存空间(包含设备驱动程序提供的服务)。

    优点:内核组件之间直接通过函数调用实现,不需要进行 R3 与 R0 的转换。

    缺点:一块内存空间一旦发生错误,会导致多个系统组件发生错误致使 Crash。

    微内核 MicroKernel (Minix、Mach、QNX)

    部分关键系统服务直接建立在硬件基础上(内存管理、多任务支持、进程间通信),其他常见的服务(网络服务、文件系统)都在 R3 实现,它们通过进程间通信(IPC,Inter-Process Communication)实现。

    优点:小、系统服务可以高级语言编写并动态替换。

    缺点:R3 与 R0 通信之间的处理器模式切换以及 Process Contex 切换耗费时间。

    混合内核 HybridKernel (Windows NT、Linux)

    大内核和微内核的折中版

    外核结构 ExoKernel (理论模型,Insecure)

    内核小于微内核,硬件抽象(Hardware Abstract Layer)尽量少,此系统上的开发人员可操作硬件的使用。该系统本身只提供对硬件资源的保护与共享使用。应用程序通过库操作系统来使用系统的硬件资源。

    虚拟化技术 Virtualization

    硬件虚拟化也叫虚拟机:VMware、Microsoft Virtual PC

    仿虚拟化,ParaVirtualization:Xen 虚拟机,不是完全模拟硬件而是提供一个 API 供客体使用,但需要修改客体 OS.

    SoftWare Isolated Process(SIP):即 Docker, 典型系统 Singularity ,由微软研发。初听 SIP 这个概念有点像 Windows 中:每个进程都有自己的相对独立的内存空间。

    XP 之前 Windows 还支持 POSIX 和 OS/2 环境子系统,为其提供仿真执行环境。XP 以后只有 Windows 子系统随系统发行。

    Windows 内核结构

    • 硬件抽象层(HAL,Hardware Abstract Level)
    • 内核层(微内核,micro-kernel)
    • 执行体(executive)

    HAL 将硬件层封装,使得上层的内核层尽可能独立于硬件平台,减少对不同平台的代码开发量。

    内核层包含基本的操作系统原语(primitive)和功能,如线程、进程、线程调度、终端、异常处理、同步对象和各种同步机制。

    执行体层提供上层应用程序和内核驱动程序直接调用的功能和语义,并且包含一个对象管理器,用于一致的管理执行体中的对象。

    执行体层和内核层位于内核基本模块中,名称为 ntoskernel.exe。执行体中绝大多数的对象都封装了一个或多个内核对象,通过对象句柄等方式暴露给应用程序。

    由图可知,应用程序调用系统服务时会经过 ntdll.dll 再调用。对于系统中的每一个函数 ntdll.dll 中都对应有一个存根(stub)函数并以 Nt 为前缀,比如 NtCreatePoress 等。ntdll 中还包含:

    • Ldr 系列,映像加载器函数等
    • Csr 系列,Windows 子系统进程通信函数等
    • Dbg 系列,调试函数等
    • Rtl 系列(一般运行支持函数)、Etw 系列(系统事件支持函数)和字符串支持系列
    //通常,执行体系统服务函数还会在其开始处对所接收的参数进行检查
    //InputInformation(指针) 和 ReturnLength 是该系统服务的直接参数

    PreMode = ExGetPreviousMode(); if(PreMode != KernelMode) //如果非内核模式,就要开始检查IN的这些参数都否可读 { __try{ //这里的 ProbeForWrite 系列,首先都会检查地址是否越界至内核空间,若越界则将该地址赋值为 MM_USER_PROBE_ADDRESS
           //或 0 ( if (_AMD64_) ),然后取目标地址处的值并写回,检查该地址是否能读写
    ProbeForWrite(Inputinformation, InputInformationLength, sizeof(ULONG));
           if(ARGUMENT_PRESENT(ReturnLength)){
           ProbeForWriteUlong(ReturnLength); } __except(EXCEPTION_EXECUTE_HANDLER){ retrun GetExceptionCode();
    } }

    Win 10 通常会在判断完模式后通过 sysenter 和 int 2e 分开不同模式的调用。Int 2e 会检查参数,并准备内核态的栈。而 sysenter 是快速系统调用,不需要检查参数。

    硬件抽象层

    即 hal.dll ,发行时会包含多个 hal ,但安装时只会选中一个将其拷贝并更名为 hal.dll 。自旋锁和中断的功能是在 HAL 中实现的。

    内核层(微内核)

    负责线程调度和中断、异常的处理,同步多个处理器之间的行为。该层以 C 语言为主,辅以一部分的汇编代码。内核层管理两忠=种类型的对象:分发器对象和控制器对象。分发器影响线程的调度(包含线程、进程、事件、信号量、定时器等等),而控制器对象包含 APC 、DPC 和中断对象,不会影响线程的调度。 

    执行体

    执行体是 ntoskrn.exe 的上层部分,包含 5 种类型的函数:

    • 被导出的可在用户模式下调用的函数。接口位于 ntdll.dll 中
    • 被导出并可以在用户模式下调用,但无法通过 Windows API 。例如 NtQueryInformation,需要直接链接 ntdll.dll 
    • 只能在内核模式下调用的导出函数,设备驱动程序可以调用
    • 执行体之前互相调用的函数
    • 属于一个组件的内部函数

    从功能的角度,执行体包含:内存 mgr、进程/线程 mgr、I/O mgr、Cache mgr、配置 mgr、即插即用 mgr、电源 mgr 以及安全引用监视器(SRM,Security Reference Monitor)

    设备驱动程序

    除 ntoskrn.exe 和 HAL 外,内核中的其它模块几乎都已设备驱动程序的形式存在(.sys)。

    设备驱动有三种基本类型:

    • 即插即用驱动程序,也称为 WDM (Windows Driver Mode)驱动程序。
      • 总共三种类型:①总线驱动程序,负责管理各个设备和提供访问总线资源的方法。②功能驱动程序,管理具体的设备,向操作系统提供该设备的功能(硬件厂商提供,Windows 发行时会自行携带很多这种程序)。③过滤驱动程序,监视一个设备的 I/O 请求和处理过程,干预其执行流程或行为
      • WDM 中每个硬件设备都有一个设备栈,包含一个总线驱动和功能驱动以及 0 个或多个过滤驱动程序
      • 总线通过构建设备树发现程序,通过设备栈访问程序
    • 内核扩展驱动程序。系统工具使用内核扩展驱动程序获取 Windows 内核中的系统信息。
    • 文件系统驱动程序。将对文件的请求转变为对存储设备或网络 I/O 设备的请求。

    I/O 请求:上层程序与驱动程序之间通信时,上层会发出 I/O请求,大部分请求都打包在 I/O 请求数据包 (IRP) 中。

    Windows 支持两种方式的过滤驱动程序:①直接插入设备栈中 ②通过 Windows 提供的管理器驱动程序(FltMgr),通过回调方式来响应 FltMgr 事件。

    文件系统/存储管理

    文件系统的接口部分由 I/O 管理器实现和定义,但实现部分位于一类专门的驱动程序中。

    分区(partition):存储设备上连续的扇区

    卷:是一个逻辑上的概念。包含一个或多个分区,可以来自于不同的磁盘。文件系统是卷内部的逻辑结构。

    网络

    • Winsock 即 Windows 套接字,实现并拓展了 BSD 套接字标准。
    • Winnet ,高层网络协议,包含 FTP、HTTP ,IE 使用 Winnet 进行数据传输
    • 命名管道和邮件槽。命名管道使用连接的方式通信,而邮件槽使用广播的方式发送消息
    • NetBIOS,Windows 兼容的早期的网络编程 API
    • RPC,网络编程标准,建立在 Winsock 或命名管道等其它网络 API 上。

    afd.sys 等网络 API 驱动程序  通过传输驱动程序接口(Transport Driver Interface,TDI)与  协议驱动程序通信。

    其中,网络 API 驱动程序和 TDI 是松耦合关系,即通过特定的框架进行交流但内容和形式(tcp.sys/netbt.sys)较灵活。

    协议驱动程序 通过 NDIS(Network Driver Interface Specification)接口与网络适配器的驱动程序进行通信。符合 NDIS 的网络适配器驱动程序称为 NDIS 驱动程序。NDIS 并非标准的设备驱动程序,I/O 管理器不介入 NDIS 与 协议驱动程序的通信过程。 

    Windows 子系统

    PE 文件可选头中 SubSystem 域可指定三中类型:Driver、GUI、CUI(Console)分别对应值 1、2、3

    Windows 子系统分有用户模式和内核模式部分。

    • 内核模式的核心是 win32k.sys.不处理 I/O 请求,而是提供两部分的系统服务。
      1. 窗口管理,即窗口消息的收集、分发,控制窗口显示和屏幕输出
      2. 图形设备接口(GDI),即形状绘制、文本输出
    • 用户模式部分包括 csrss.exe 以及一组 DLL。
      1. Csrss.exe 负责控制台窗口,进程、线程的创建和删除
      2. DLL 则直接链接到进程中 kernel.dll、user32.dll、gdi32.dll、advapi.dll 等,这些动态库中的 API 函数有些可以直接在 R3 完成,有些则需要在 R0 完成

    Win32k.sys  向内核注册一组出调(callout)函数介入内核的线程和进程管理中,也可以接收电源事件。每个线程,一旦调用了 win32k.sys 中的系统服务,那么就属于 GUI 线程,归属于 Windwos 子系统管理。

    Win32k 的图形管理:

    DirectX:允许图形应用软件绕过GDI图形引擎,直接操纵显示器硬件,获得更快的显示速度。

    系统线程和系统进程

    Windows 内核中存在一些不同用途的线程,运行在 System 进程中。其中有一组系统辅助线程(System worker thread)。驱动程序既可以在调用者进程中创建线程,也可以在 System 进程中创建线程,或者通过 API 函数放到系统辅助线程的处理队列中,由系统辅助线程处理,但也是在 System 进程中执行,不能访问其它进程空间中的数据。

    系统辅助线程会动态增长,满足系统负载的变化需求。通过 PsCreateSystemThread 函数创建的系统线程可以指定其它进程作为它的宿主进程,但默认的宿主进程是 System 进程。

    还有一些系统进程:

    • 系统空闲进程(Idle),进程 ID 为 0,每个处理器或核对应有一个线程
    • 会话管理器(Session Manager,smss.exe)。Windows 启动时第一个创建的用户模式进程,会启动 csrss.exe 和 winlogon.exe。创建新的会话时,smss 会再次启动这两个进程
    • 登录进程(Winlogon.exe)负责处理交互用户的登录和注销
    • 本地安全权威子系统进程(Local Security Authority Subsystem,lsass.exe),负责本地安全策略,对登录用户进行限制和权限管理。
    • Shell 进程(explorer.exe),提供各种交互式界面。

    内存管理

    Windows 采用页式内存管理,较为典型的内存页面算法有三种:

    • 非换页内存池。内存页被映射到物理页面,按照空闲链表的方法,以不同的粒度将空闲页面链接此来。申请和释放页面的操作即是针对空闲链表来进行的
    • 换页内存池。空闲的页面没有被映射好物理页面,以位图的方式管理页面的分配(0 位)
    • 系统 PTE 区域。这部分内存区域的地址范围是以 PTE 的形式来管理。当内核需要一段虚拟地址来映射物理页面时,可以使用系统 PTE 区域中的地址。

    PTE 即 Page Table Entry,页表。

    VAD( 虚拟地址描述符,Virtual Address Descriptor ) 是虚拟内存管理器的节点,其通过一棵平衡二叉搜索树来管理进程地址空间被使用的情况。VAD 节点中,有一种重要的节点类型是内存区对象(section object) ,它是Windows平台上两个或多个进程之间共享内存的一种常用方式。内存区对象可以被映射到任意文件或物理内存中。

    PFN (Page Frame Number Database,页帧编号数据库)。每一个物理页面都对应于PFN数据库中的一项,此 PFN 项描述了该页面的状态。Windows支持八种状态。

    当系统中的进程需要使用大量内存时,当内存管理器将需要有限的物理页面分配给需要使用内存的进程时,会用到 Windows .工作集管理器。这里工作集( working set )是指一个进程当前正在使用的物理页面的集合。Windows系统中除了进程工作集,还有系统工作集(即系统空间中动态映射的页面集合)和会话工作集(即会话空间中的代码和数据区)。每个进程都有一个工作集链表,其中的每一项不仅记录了物理页面的编号,还记录了其他的属性。

    工作集管理器运行在一个称为平衡集管理器( balance set manager )的线程中每隔 1s 被触发一次,当可用内存太低时也会被触发。平衡集管理器除了触发工.作集管理器以外,也定期触发进程/栈交换器( process/stack swapper )。进程/栈交换器是另一个单独的线程,一旦被唤醒,就会将满足特定条件的进程和栈换人内存或换出内存。

    进程和线程管理

    Windows 中创建子进程,不指明属性则直接继承自父进程。与 Unix 相比,Windows 子进程仅仅记录了父进程的 ID,进程间是独立的,关系相对松散。

    KPROCESSKTHREAD 是微内核中进程和线程的数据结构,而 EPROCESSETHREAD 是执行体中进程和线程的数据结构; KeAttachProcess KeStackAttachProcess 是微内核中将线程附载到指定进程的函数,而PspCreateThread PspCreateProcess 是执行体中创建线程和进程的函数。

    Windows 进程的创建:PspCreateProcess(EPROCESS 和 ETHREAD) 

    Windows 子系统进程的创建步骤:载入可执行文件 ——> PspCreateProcess(EPROCESS 和 ETHREAD) ——> csrss.exe 

    作业:执行体支持的内核对象,将一个或多个进程当作一个整体来管理和控制。

    纤程:用户线程,对内核不可见,由 kernel32.dll 实现,一个进程中可以创建多个纤程但需要手动控制执行且不可中断,只能终止或切换到另一个纤程。

    中断和异常

    中断由外部硬件产生。如敲键盘、点鼠标。并且这是异步事件(可不处理)。

    异常是指 cpu 内部问题,是一个同步事件(必须处理)。

    cpu 外部中断简称中断,cpu 内部中断就叫异常。         windows异常处理_Starr-CSDN博客

    IDT ( Interrupt Descriptor Table,中断描述符表),将每个中断异常与一个处理该中断或异常的服务例程联系起来,因而一旦中断或异常发生,该服务例程即被执行。多个中断服务例程(Interrupt Service Routine,ISR)可以对应一个中断信号,会有一个链表在中断发生时挨个来处理。

    中断请求级别( lRQL,Interrupt Request Level )。在Intel x86 系统中,Windows 使用 0-31 来表示 RQL,数值越大,优先级越高。处理器在运行时总是有一个当前 IRQL,如果发生中断时,中断源的 IRQL 等于或者低于当前级别,则该中断被屏蔽,直到处理器的IRQL降下来为止。

    1. IRQL=0 表示普通线程,称为 PASSIVE_LEVEL ,它的优先级最低,可被任何其他级别的中断打断。
    2. IRQL=1 表示异步过程调用(APC,Asynchronous Procedure Call),称为 APC_LEVEL,它仅仅比PASSIVE_LEVEL高,因此,在一个线程中插入一个APC对象可以打断该线程的执行。
    3. IRQL=2 表示处理器正在做以下两件事情: 正在进行线程调度,比如选择新的线程 正在处理一个硬件中断的后半部分(不那么紧急的部分),在Windows 中,这被称为延迟过程调用( DPC, Deferred Procedure Call )。因此 IRQL 为 2 也被称为 DISPATCH/DPC 级别,或者简单地称为 DISPATCH_LEVEL。
    4. 3~26 是设备 IRQL,27~31 是一些特殊的硬件中断,包括时钟中断、电源中断、处理器间中断等,它们都是硬件中断。

    APC :APC 是线程相关的例程,它们只能在特定的线程环境中被执行,因而也一定在特定的地址空间中被执行。APC 的执行优先于线程本身的指令流。当个线程获得执行权时,它的 APC 例程会立刻被执行。这一特性使得 APC 非常适合于实现各种异步通知事件,例如,IO 的完成通知可以用 APC 来实现。

    DPC:DPC 的执行优先于任何一个于线程相关的函数,屏蔽了线程调度但低于硬件中断。Timer ,计时器到期是在 DPC 中交付的。

    IDT :0 ~ 1F 由 intel 保留,其中 2 号 中断向量是 NMI(Nonmaskable Inerrupt,不可屏蔽中断),e 号是页面错误,由虚拟内存管理器接管。异常经过 IDT 找到具体的处理函数,经过一系列的调用会执行函数 DispatchException ,之后由 ExceptionHandler 挨个处理。具体可参考:第8章:Windows 下的异常处理-SEH - Rev_omi - 博客园 (cnblogs.com)

    Windows 同步机制:

    • 进程间的同步
      1. 提升 IRQL
      2. 互锁操作。 Lock 指令,最多锁 8 Bytes
      3. 单链表+Lock。使其访问不到下一个节点
      4. 自旋锁。本质上是一种忙等待,即不停检测锁的状态直到锁可用。通常用于 IRQL 大于2 的代码
    • 线程间的同步(IRQL == 1 时的同步):分发器对象
      1. 分发器对象的头部时 DISPATCH_HEADER
      2. 对于每个处于等待状态的线程,它有一个等待块链表,链表中的每个节点代表该线程正在等待的一个分发器对象
      3. 对于每个分发器对象,它也有一个等待块链表,链表中的每个节点代表了正在等待该对象的一个线程。
      4. 当分发器对象变成有信号状态,则找到在分发器的等待块链表中找到第一个等待块,从而定位到特定线程。查找该线程进入等待的条件( [“ WaitAny 或 WaitAll ”] 和 [“ 分发器对象的状态(唤醒一个线程或所有线程)”]),在该线程的等待块链表中索引到分发器对象,若满足条件则执行该线程
    • 进程对象
    • 队列对象
    • 突变体
    • 事件
    • 定时器对象
    • 门对象。最快捷的方式,可直接将该线程插入到处理器的就绪队列中
    • ••••••••••
  • 相关阅读:
    Android官方命令深入分析之bmgr
    Android官方命令深入分析之AVD Manager
    Android 官方命令深入分析之android
    token的设置与获取
    SpringBoot使用Redis共享用户session信息
    thymeleaf资源加载问题(从Controller跳转)
    ajax传递数组,后台更新
    BootStrap表单验证用户名重复
    hadoop3.x.x错误解决
    Hadoop安装
  • 原文地址:https://www.cnblogs.com/Rev-omi/p/14804110.html
Copyright © 2011-2022 走看看