zoukankan      html  css  js  c++  java
  • 备战秋招,面试知识点总结:操作系统(四)

    进程与线程的概念,以及为什么要有进程线程,其中有什么区别

    进程是对运行时程序的封装,是系统进行资源调度和分配的基本单位,实现了操作系统的并发;

    线程是进程的子任务,是CPU调度和分派的基本单位,用于保证程序的实时性,实现进程内部的并发。线程是操作系统可识别的最小执行和调度单位。每个线程都独自占用一个虚拟处理器:独自的寄存器组指令计数器处理器状态。每个线程完成不同的任务,但是共享同一地址空间(也就是同样的动态内存,映射文件,目标代码等等),打开的文件队列和其他内核资源。

    线程的内容:

    程序计数器:于存放下一条指令所在单元的地址的地方

    寄存器组:当从一个线程切换到另一个线程上时,必须将原有的线程的寄存器集合的状态保存

    堆栈:线程必须拥有自己的函数堆栈,使得函数调用可以正常执行,不受其他线程的影响。

    区别:

    1.一个线程只能属于一个进程,而一个进程可以有多个线程,但至少有一个线程。线程依赖于进程而存在

    2.进程在执行过程中拥有独立的内存单元,而多个线程共享进程的内存。(资源分配给进程,同一进程的所有线程共享该进程的所有资源。同一进程中的多个线程共享代码段(代码和常量),数据段(全局变量和静态变量),扩展段(堆存储)。但是每个线程拥有自己的栈段栈段又叫运行时段,用来存放所有局部变量和临时变量。

    3.进程是资源分配的最小单位,线程是CPU调度的最小单位;

    4.系统开销: 由于在创建或撤消进程时,系统都要为之分配或回收资源,如内存空间、I/o设备等。因此,操作系统所付出的开销将显著地大于在创建或撤消线程时的开销。类似地,在进行进程切换时,涉及到整个当前进程CPU环境的保存以及新被调度运行的进程的CPU环境的设置。而线程切换只须保存和设置少量寄存器的内容,并不涉及存储器管理方面的操作。可见,进程切换的开销也远大于线程切换的开销

    5.通信:由于同一进程中的多个线程具有相同的地址空间,致使它们之间的同步和通信的实现,也变得比较容易进程间通信IPC线程间可以直接读写进程数据段(如全局变量)来进行通信——需要进程同步和互斥手段的辅助,以保证数据的一致性。在有的系统中,线程的切换、同步和通信都无须操作系统内核的干预

    6.进程编程调试简单可靠性高,但是创建销毁开销大;线程正相反,开销小,切换速度快,但是编程调试相对复杂。

    7.进程间不会相互影响 ;线程一个线程挂掉将导致整个进程挂掉

    8.进程适应于多核、多机分布;线程适用于多核

    进程间通信的方式与线程间通信

    进程间通信主要包括管道、系统IPC(包括消息队列、信号量、信号、共享内存等)、以及套接字socket。

    1.管道:

    管道主要包括无名管道和命名管道:管道可用于具有亲缘关系的父子进程间的通信,有名管道除了具有管道所具有的功能外,它还允许无亲缘关系进程间的通信

    1.1 普通管道PIPE:

    1)它是半双工的(即数据只能在一个方向上流动),具有固定的读端和写端

    2)它只能用于具有亲缘关系的进程之间的通信(也是父子进程或者兄弟进程之间)

    3)它可以看成是一种特殊的文件,对于它的读写也可以使用普通的read、write等函数。但是它不是普通的文件,并不属于其他任何文件系统,并且只存在于内存中。

    先创建管道,然后再fork后即可在父子进程间创建管道。如果需要父向子写,则关闭父的读和子的写;如果子向父写,则关闭子的读和父的写。

    1.2 命名管道FIFO:

    1)FIFO可以在无关的进程之间交换数据

    2)FIFO有路径名与之相关联,它以一种特殊设备文件形式存在于文件系统中。

    当以只读open一个FIFO时,会阻塞到出现某个进程以写而open这个FIFO为止,同样,以只写open一个FIFO将阻塞到某个进程以只读打开他为止。如果FIFO设置了O_NONBLOCK,则只读OPEN立即返回,如果没有进程为读而打开FIFO,则只写OPEN将返回-1,也就是说只有对一个FIFO同时存在读和写的进程时,才能在进程间进行通信。

    2. 系统IPC:

    2.1 消息队列

    消息队列,是消息的链接表,存放在内核中。一个消息队列由一个标识符(即队列ID)来标记。 (消息队列克服了信号传递信息少,管道只能承载无格式字节流以及缓冲区大小受限等特点)具有写权限得进程可以按照一定得规则向消息队列中添加新信息;对消息队列有读权限得进程则可以从消息队列中读取信息;

    特点:

    1)消息队列是面向记录的,其中的消息具有特定的格式以及特定的优先级。

    2)消息队列独立于发送与接收进程。进程终止时,消息队列及其内容并不会被删除。

    3)消息队列可以实现消息的随机查询,消息不一定要以先进先出的次序读取,也可以按消息的类型读取。

    2.2 信号量semaphore

    信号量(semaphore)与已经介绍过的 IPC 结构不同,它是一个计数器,可以用来控制多个进程对共享资源的访问。信号量用于实现进程间的互斥与同步,而不是用于存储进程间通信数据。

    特点:

    1)信号量用于进程间同步,若要在进程间传递数据需要结合共享内存。

    2)信号量基于操作系统的 PV 操作,程序对信号量的操作都是原子操作。

    3)每次对信号量的 PV 操作不仅限于对信号量值加 1 或减 1,而且可以加减任意正整数。

    4)支持信号量组。

    2.3 信号signal

    信号是一种比较复杂的通信方式,用于通知接收进程某个事件已经发生。

    2.4 共享内存(Shared Memory)

    它使得多个进程可以访问同一块内存空间,不同进程可以及时看到对方进程中对共享内存中数据得更新。这种方式需要依靠某种同步操作,如互斥锁和信号量等

    特点:

    1)共享内存是最快的一种IPC,因为进程是直接对内存进行存取

    2)因为多个进程可以同时操作,所以需要进行同步

    3)信号量+共享内存通常结合在一起使用,信号量用来同步对共享内存的访问

    shmget返回一个共享存储ID,它代表使用的是哪个共享存储段,调用shmat将共享存储段连接到所指定的地址空间中。

    3.套接字SOCKET:

    socket也是一种进程间通信机制,与其他通信机制不同的是,它可用于不同主机之间的进程通信。

    线程间通信的方式:

    临界区:通过多线程的串行化来访问公共资源或一段代码,速度快,适合控制数据访问;

    互斥量Synchronized/Lock:采用互斥对象机制,只有拥有互斥对象的线程才有访问公共资源的权限。因为互斥对象只有一个,所以可以保证公共资源不会被多个线程同时访问

    信号量Semphare:为控制具有有限数量的用户资源而设计的,它允许多个线程在同一时刻去访问同一个资源,但一般需要限制同一时刻访问此资源的最大线程数目。

    事件(信号),Wait/Notify:通过通知操作的方式来保持多线程同步,还可以方便的实现多线程优先级的比较操作

    Linux虚拟地址空间

    虚拟内存技术使得不同进程在运行过程中,它所看到的是自己独自占有了当前系统的4G内存。所有进程共享同一物理内存,每个进程只把自己目前需要的虚拟内存空间映射并存储到物理内存上。 事实上,在每个进程创建加载时,内核只是为进程“创建”了虚拟内存的布局,具体就是初始化进程控制表中内存相关的链表,实际上并不立即就把虚拟内存对应位置的程序数据和代码(比如.text .data段)拷贝到物理内存中,只是建立好虚拟内存和磁盘文件之间的映射就好(叫做存储器映射),等到运行到对应的程序时,才会通过缺页异常,来拷贝数据。还有进程运行过程中,要动态分配内存,比如malloc时,也只是分配了虚拟内存,即为这块虚拟内存对应的页表项做相应设置,当进程真正访问到此数据时,才引发缺页异常。

    虚拟内存的好处:

    1.扩大地址空间

    2.内存保护:每个进程运行在各自的虚拟内存地址空间,互相不能干扰对方。虚存还对特定的内存地址提供写保护,可以防止代码或数据被恶意篡改。

    3.公平内存分配。采用了虚存之后,每个进程都相当于有同样大小的虚存空间

    4.当进程通信时,可采用虚存共享的方式实现。

    5.当不同的进程使用同样的代码时,比如库文件中的代码,物理内存中可以只存储一份这样的代码,不同的进程只需要把自己的虚拟内存映射过去就可以了,节省内存

    6.虚拟内存很适合在多道程序设计系统中使用,许多程序的片段同时保存在内存中。当一个程序等待它的一部分读入内存时,可以把CPU交给另一个进程使用。在内存中可以保留多个进程,系统并发度提高

    7.在程序需要分配连续的内存空间的时候,只需要在虚拟内存空间分配连续空间,而不需要实际物理内存的连续空间,可以利用碎片

    虚拟内存的代价:

    1.虚存的管理需要建立很多数据结构,这些数据结构要占用额外的内存

    2.虚拟地址到物理地址的转换,增加了指令的执行时间。

    3.页面的换入换出需要磁盘I/O,这是很耗时的

    4.如果一页中只有一部分数据,会浪费内存

    操作系统中的程序的内存结构

    一个程序本质上都是由BSS段、data段、text段三个组成的。可以看到一个可执行程序在存储(没有调入内存)时分为代码段、数据区和未初始化数据区三部分。

    BSS段(未初始化数据区):通常用来存放程序中未初始化的全局变量和静态变量的一块内存区域。BSS段属于静态分配,程序结束后静态变量资源由系统自动释放。

    数据段:存放程序中已初始化的全局变量的一块内存区域。数据段也属于静态内存分配

    代码段:存放程序执行代码的一块内存区域。这部分区域的大小在程序运行前就已经确定,并且内存区域属于只读。在代码段中,也有可能包含一些只读的常数变量

    text段和data段在编译时已经分配了空间,而BSS段并不占用可执行文件的大小,它是由链接器来获取内存的。

    bss段(未进行初始化的数据)的内容并不存放在磁盘上的程序文件中。其原因是内核在程序开始运行前将它们设置为0。需要存放在程序文件中的只有正文段和初始化数据段。

    data段(已经初始化的数据)则为数据分配空间,数据保存到目标文件中。

    数据段包含经过初始化的全局变量以及它们的值。BSS段的大小从可执行文件中得到,然后链接器得到这个大小的内存块,紧跟在数据段的后面。当这个内存进入程序的地址空间后全部清零。包含数据段和BSS段的整个区段此时通常称为数据区。

    可执行程序在运行时又多出两个区域:栈区和堆区。

    栈区:由编译器自动释放,存放函数的参数值、局部变量等。每当一个函数被调用时,该函数的返回类型和一些调用的信息被存放到栈中。然后这个被调用的函数再为他的自动变量和临时变量在栈上分配空间。每调用一个函数一个新的栈就会被使用。栈区是从高地址位向低地址位增长的,是一块连续的内存区域,最大容量是由系统预先定义好的,申请的栈空间超过这个界限时会提示溢出,用户能从栈中获取的空间较小。

    堆区:用于动态分配内存,位于BSS和栈中间的地址区域。由程序员申请分配和释放。堆是从低地址位向高地址位增长,采用链式存储结构。频繁的malloc/free造成内存空间的不连续,产生碎片。当申请堆空间时库函数是按照一定的算法搜索可用的足够大的空间。因此堆的效率比栈要低的多

    操作系统中的缺页中断

    缺页中断:在请求分页系统中,可以通过查询页表中的状态位来确定所要访问的页面是否存在于内存中。每当所要访问的页面不在内存时,会产生一次缺页中断,此时操作系统会根据页表中的外存地址在外存中找到所缺的一页,将其调入内存

    缺页本身是一种中断,与一般的中断一样,需要经过4个处理步骤:

    1、保护CPU现场

    2、分析中断原因

    3、转入缺页中断处理程序进行处理

    4、恢复CPU现场,继续执行

    但是缺页中断是由于所要访问的页面不存在于内存时,由硬件所产生的一种特殊的中断,因此,与一般的中断存在区别:

    1、在指令执行期间产生和处理缺页中断信号

    2、一条指令在执行期间,可能产生多次缺页中断

    3、缺页中断返回是,执行产生中断的一条指令,而一般的中断返回是,执行下一条指令。

    写时复制

    Linux采用了写时复制的方法,以减少fork时对父进程空间进程整体复制带来的开销

    如果有多个进程要读取它们自己的那部门资源的副本,那么复制是不必要的。每个进程只要保存一个指向这个资源的指针就可以了。只要没有进程要去修改自己的“副本”,就存在着这样的幻觉:每个进程好像独占那个资源。从而就避免了复制带来的负担。如果一个进程要修改自己的那份资源“副本”,那么就会复制那份资源,并把复制的那份提供给进程。不过其中的复制对进程来说是透明的。这个进程就可以修改复制后的资源了,同时其他的进程仍然共享那份没有修改过的资源。所以这就是名称的由来:在写入时进行复制。

    如果有进程试图修改一个页,就会产生一个缺页中断。内核处理缺页中断的方式就是对该页进行一次透明复制。这时会清除页面的COW属性,表示着它不再被共享。

    fork和vfork的区别

    1. fork( )的子进程拷贝父进程的数据段和代码段vfork( )的子进程与父进程共享数据段

    2. fork( )的父子进程的执行次序不确定;vfork( )保证子进程先运行,在调用exec或exit之前与父进程数据是共享的,在它调用exec或exit之后父进程才可能被调度运行。

    3. vfork( )保证子进程先运行,在它调用exec或exit之后父进程才可能被调度运行。如果在调用这两个函数之前子进程依赖于父进程的进一步动作,则会导致死锁。

    4.当需要改变共享数据段中变量的值,则拷贝父进程。

    修改文件最大句柄数

    linux默认最大文件句柄数是1024个,在linux服务器文件并发量比较大的情况下,系统会报"too many open files"的错误。故在linux服务器高并发调优时,往往需要预先调优Linux参数,修改Linux最大文件句柄数。

    1.修改Linux最大文件句柄数:  ulimit -n 2048, 将最大句柄数修改为 2048个

    2. 对所有进程都有效的方法,修改Linux系统参数

    vi /etc/security/limits.conf 添加

    *  soft  nofile  65536

    *  hard  nofile  65536

    将最大句柄数改为65536

    MySQL的端口号是多少

    mysql的默认端口是3306

    操作系统中的页表寻址

    页式内存管理,内存分成固定长度的一个个页片。操作系统为每一个进程维护了一个从虚拟地址到物理地址的映射关系的数据结构,叫页表,页表的内容就是该进程的虚拟地址到物理地址的一个映射。页表中的每一项都记录了这个页的基地址。通过页表,由逻辑地址的高位部分先找到逻辑地址对应的页基地址,再由页基地址偏移一定长度就得到最后的物理地址,偏移的长度由逻辑地址的低位部分决定。一般情况下,这个过程都可以由硬件完成,所以效率还是比较高的。页式内存管理的优点就是比较灵活,内存管理以较小的页为单位,方便内存换入换出和扩充地址空间。

    为什么使用多级页表:存储页表需要空间,如果虚拟地址空间很大,则页表也很大。且每个进程都需要一个页表。引入多级页表的原因就是避免把全部页表一直保存在内存中。

    以二级页表为例,一级列表将4GB虚拟空间分成1024个块,每个块4MB,同时也对应1024个页表项,每一项对应一个4MB的空间(虽然有1024个页表项,但实际上只需要三个页表项:正文段(0~4M),数据段(4~8M),和最顶端的4M(堆栈段),其他段被设置为不不在内存中,访问时产生一个缺页错)。当访问某个虚拟地址时,MMU首先根据前十位找出对应的顶级页表中的页表项,然后根据中间十位找到二级页表中的页表项,如果该页框在内存里,则加上偏移送往内存,如果不在则发生一个缺页错。

    有了进程,为什么还要有线程

    线程产生的原因:

    进程可以使多个程序能并发执行,以提高资源的利用率和系统的吞吐量;但是其具有一些缺点:

    进程在同一时间只能干一件事

    进程在执行的过程中如果阻塞,整个进程就会挂起(同一个进程中其他的工作也会因这个工作的阻塞而停滞),即使进程中有些工作不依赖于等待的资源,仍然不会执行。

    操作系统引入了比进程粒度更小的线程,作为并发执行的基本单位,从而减少程序在并发执行时所付出的时空开销,提高并发性。和进程相比,线程的优势如下:

    从资源上来讲,线程是一种非常"节俭"的多任务操作方式。在linux系统下,启动一个新的进程必须分配给它独立的地址空间,建立众多的数据表来维护它的代码段、堆栈段和数据段,这是一种"昂贵"的多任务工作方式。

    从切换效率上来讲,运行于一个进程中的多个线程,它们之间使用相同的地址空间,而且线程间彼此切换所需时间也远远小于进程间切换所需要的时间。

    从通信机制上来讲,线程间方便的通信机制。

    除以上优点外,多线程程序作为一种多任务、并发的工作方式,还有如下优点:

    1、使多CPU系统更加有效。操作系统会保证当线程数不大于CPU数目时,不同的线程运行于不同的CPU上。

    2、改善程序结构。一个既长又复杂的进程可以考虑分为多个线程,成为几个独立或半独立的运行部分,这样的程序才会利于理解和修改

    单核机器上写多线程程序,是否需要考虑加锁,为什么?

    在单核机器上写多线程程序,仍然需要线程锁。因为线程锁通常用来实现线程的同步和通信。在单核机器上的多线程程序,仍然存在线程同步的问题。因为在抢占式操作系统中,通常为每个线程分配一个时间片,当某个线程时间片耗尽时,操作系统会将其挂起,然后运行另一个线程。如果这两个线程共享某些数据,不使用线程锁的前提下,可能会导致共享数据修改引起冲突。

    线程需要保存哪些上下文,SP、PC、EAX这些寄存器是干嘛用的

    线程在切换的过程中需要保存当前线程Id线程状态堆栈寄存器状态等信息。其中寄存器主要包括SP PC EAX等寄存器,其主要功能如下:

    SP:堆栈指针,指向当前栈的栈顶地址

    PC:程序计数器,存储下一条将要执行的指令

    EAX:累加寄存器,用于加法乘法的缺省寄存器

    线程间的同步方式,最好说出具体的系统调用

    信号量

    信号量是一种特殊的变量,可用于线程同步。它只取自然数值,并且只支持两种操作:

    P(SV):如果信号量SV大于0,将它减一;如果SV值为0,则挂起该线程。

    V(SV):如果有其他进程因为等待SV而挂起,则唤醒,然后将SV+1;否则直接将SV+1。

    其系统调用为:

    sem_wait(sem_t *sem):以原子操作的方式将信号量减1,如果信号量值为0,则sem_wait将被阻塞,直到这个信号量具有非0值。

    sem_post(sem_t *sem):以原子操作将信号量值+1。当信号量大于0时,其他正在调用sem_wait等待信号量的线程将被唤醒。

    互斥量

    互斥量又称互斥锁,主要用于线程互斥,不能保证按序访问,可以和条件锁一起实现同步。当进入临界区      时,需要获得互斥锁并且加锁;当离开临界区时,需要对互斥锁解锁,以唤醒其他等待该互斥锁的线程。其主要的系统调用如下:

    pthread_mutex_init:初始化互斥锁

    pthread_mutex_destroy:销毁互斥锁

    pthread_mutex_lock:以原子操作的方式给一个互斥锁加锁,如果目标互斥锁已经被上锁,pthread_mutex_lock调用将阻塞,直到该互斥锁的占有者将其解锁。

    pthread_mutex_unlock:以一个原子操作的方式给一个互斥锁解锁。

    条件变量

    条件变量,又称条件锁,用于在线程之间同步共享数据的值。条件变量提供一种线程间通信机制:当某个共享数据达到某个值时,唤醒等待这个共享数据的一个/多个线程。即,当某个共享变量等于某个值时,调用 signal/broadcast。此时操作共享变量时需要加锁。其主要的系统调用如下:

    pthread_cond_init:初始化条件变量

    pthread_cond_destroy:销毁条件变量

    pthread_cond_signal:唤醒一个等待目标条件变量的线程。哪个线程被唤醒取决于调度策略和优先级。

    pthread_cond_wait:等待目标条件变量。需要一个加锁的互斥锁确保操作的原子性。该函数中在进入wait状态前首先进行解锁,然后接收到信号后会再加锁,保证该线程对共享资源正确访问。

    多线程和多进程的不同

    进程是资源分配的最小单位,而线程时CPU调度的最小单位。多线程之间共享同一个进程的地址空间,线程间通信简单,同步复杂,线程创建、销毁和切换简单,速度快,占用内存少,适用于多核分布式系统,但是线程间会相互影响,一个线程意外终止会导致同一个进程的其他线程也终止,程序可靠性弱。而多进程间拥有各自独立的运行地址空间,进程间不会相互影响,程序可靠性强,但是进程创建、销毁和切换复杂,速度慢,占用内存多,进程间通信复杂,但是同步简单,适用于多核、多机分布。

    OS缺页置换算法

    当访问一个内存中不存在的页,并且内存已满,则需要从内存中调出一个页或将数据送至磁盘对换区,替换一个页,这种现象叫做缺页置换。当前操作系统最常采用的缺页置换算法如下:

    先进先出(FIFO)算法:置换最先调入内存的页面,即置换在内存中驻留时间最久的页面。按照进入内存的先后次序排列成队列,从队尾进入,从队首删除。

    最近最少使用(LRU)算法: 置换最近一段时间以来最长时间未访问过的页面。根据程序局部性原理,刚被访问的页面,可能马上又要被访问;而较长时间内没有被访问的页面,可能最近不会被访问。

    当前最常采用的就是LRU算法。

    多进程和多线程的使用场景

    多进程模型的优势是CPU

    多线程模型主要优势为线程间切换代价较小,因此适用于I/O密集型的工作场景,因此I/O密集型的工作场景经常会由于I/O阻塞导致频繁的切换线程。同时,多线程模型也适用于单机多核分布式场景。

     多进程模型,适用于CPU密集型。同时,多进程模型也适用于多机分布式场景中,易于多机扩展。

    死锁发生的条件以及如何解决死锁

    死锁是指两个或两个以上进程在执行过程中,因争夺资源而造成的下相互等待的现象。死锁发生的四个必要条件如下:

    互斥条件:进程对所分配到的资源不允许其他进程访问,若其他进程访问该资源,只能等待,直至占有该资源的进程使用完成后释放该资源;

    请求和保持条件:进程获得一定的资源后,又对其他资源发出请求,但是该资源可能被其他进程占有,此时请求阻塞,但该进程不会释放自己已经占有的资源

    不可剥夺条件:进程已获得的资源,在未完成使用之前,不可被剥夺,只能在使用后自己释放

    环路等待条件:进程发生死锁后,必然存在一个进程-资源之间的环形链

    解决死锁的方法即破坏上述四个条件之一,主要方法如下:

    破坏互斥条件:假脱机打印

    破坏占有和等待条件:资源一次性分配

    破坏不可剥夺条件:即当进程新的资源未得到满足时,释放已占有的资源,从而破坏不可剥夺的条件

    资源有序分配法:系统给每类资源赋予一个序号,每个进程按编号递增的请求资源,释放则相反,从而破坏环路等待的条件

    操作系统中的结构体对齐

    1、原因:

    1)平台原因(移植原因):不是所有的硬件平台都能访问任意地址上的任意数据的;某些硬件平台只能在某些地址处取某些特定类型的数据,否则抛出硬件异常。

    2)性能原因:数据结构(尤其是栈)应该尽可能地在自然边界上对齐。原因在于,为了访问未对齐的内存,处理器需要作两次内存访问;而对齐的内存访问仅需要一次访问。

    2、规则

    1)数据成员对齐规则:结构(struct)(或联合(union))的数据成员,第一个数据成员放在offset为0的地方,以后每个数据成员的对齐按照#pragma pack指定的数值和这个数据成员自身长度中,比较小的那个进行。

    2)结构(或联合)的整体对齐规则:在数据成员完成各自对齐之后,结构(或联合)本身也要进行对齐,对齐将按照#pragma pack指定的数值和结构(或联合)最大数据成员长度中,比较小的那个进行。

    3)结构体作为成员:如果一个结构里有某些结构体成员,则结构体成员要从其内部最大元素大小的整数倍地址开始存储。

    3、定义结构体对齐

    可以通过预编译命令#pragma pack(n),n=1,2,4,8,16来改变这一系数,其中的n就是指定的“对齐系数”。

    为什么要进行内存对齐:

    我们知道计算机中内存是以字节为单位划分的,CPU通过地址总线来访问内存,CPU一个时钟周期内能处理多少字节的数据,就命令地址总线读取几个字节的数据。举个例子:32位的CPU,一次能处理32bit的数据,也就是4字节的数据,那么CPU就命令地址总线一次性读取4字节的数据,即每次的步长都为4字节只对地址是4的整倍数的地址进行寻址,比如:0,4,8,100等进行寻址。对于程序来说,一个变量的地址最好刚在一个寻址步长内,这样一次寻址就可以读取到该变量的值,如果变量跨步长存储,就需要寻址两次甚至多次然后再进行拼接才能获取到变量的值,效率明显就低了,所以编译器会进行内存对齐,以保证寻址效率。

      32位CPU为例,寻址步长为4,程序中如果一个int变量的地址为8,那么一次寻址就可以拿到该变量的值,如果int变量的地址为10,那么需要先寻址地址为8的地址拿到数据的一部分再寻址12的地址拿到另一部分,然后再进行拼接(先拿到8~11,在拿到12~15,然后减去8~9,留下10~11;减去14~15,留下12~13,拼接起来)

    对齐规则

    https://www.douban.com/group/topic/128339995/

    首先对齐系数为4

    第一个a,0是4的倍数,因此存放在[0,3]

    对于b,对齐系数变为1,而4是1的倍数,因此存放[4]

    对于c,2<4,因此选2位对齐,4以后以2对齐最近的为6,因此要存放在6起始的地方,而5字节处被对齐了,[6,7]。

    对d,对齐系数为1,因此选[8]。

    成员总体大小为9字节,

    而结构体自身还要在对齐一次,即min(max(4,1,2,1),4)=4.而现在为9字节,离4的倍数最近的是12,因此填为12字节。

    #pragma pack(4)
    struct test_t {
    int a; /* 长度4 = 4 按4对齐;起始offset=0 0%4=0;存放位置区间[0,3] */
    char b; /* 长度1 < 4 按1对齐;起始offset=4 4%1=0;存放位置区间[4] */
    short c; /* 长度2 < 4 按2对齐;起始offset=6 6%2=0;存放位置区间[6,7] */
    char d; /* 长度1 < 4 按1对齐;起始offset=8 8%1=0;存放位置区间[8] */
    };
    #pragma pack()
    
    成员总大小=9
    
    2) 整体对齐
    
    整体对齐系数 = min((max(int,short,char), 4) = 4
    
    整体大小(size)=$(成员总大小) 按 $(整体对齐系数) 圆整 = 12 /* 12%4=0 */
    
     
    

      

    虚拟内存置换的方式

    1、FIFO(先进先出淘汰算法)

    思想:最近刚访问的,将来访问的可能性比较大。

    实现:使用一个队列,新加入的页面放入队尾,每次淘汰队首的页面,即最先进入的数据,最先被淘汰。

    弊端:无法体现页面冷热信息(热门页面和不常用的页面无法区分,由进入时间来决定是否淘汰

    2、LFU(最不经常访问淘汰算法)

    思想:如果数据过去被访问多次,那么将来被访问的频率也更高。淘汰最近访问频率最小的元素。(与LRU的区别在于:LRU(最后被访问的时间),LFU(最近被访问的频率次数))

    实现:每个数据块一个引用计数,所有数据块按照引用计数排序,具有相同引用计数的数据块则按照时间排序。每次淘汰队尾数据块。

    开销:排序开销

    弊端:缓存颠簸。

        1. 最新加入的数据常常会被踢除,因为其起始方法次数少。

        2. 如果频率时间度量是1小时,则平均一天每个小时内的访问频率1000的热点数据可能会被2个小时的一段时间内的访问频率是1001的数据剔除掉

    3、LRU(最近最少使用替换算法)

    思想:如果数据最近被访问过,那么将来被访问的几率也更高。

    实现:使用一个栈,新页面或者命中的页面则将该页面移动到栈底,每次替换栈顶的缓存页面。

    优点:LRU算法对热点数据命中率是很高的。

    缺点:

      1.缓存颠簸,当缓存(1,2,3)满了,之后数据访问(0,3,2,1,0,3,2,1。。。)(3弹出,0进入。后面为了访问3又要置换而弹出2,PUSH入3,而马上又要访问2,又要在置换。。。。)

      2.缓存污染,突然大量偶发性的数据访问,会让内存中存放大量冷数据。(可能会由于一次冷数据的批量查询而误导大量热点的数据)

    4、LRU-K(LRU-2、LRU-3)

    思想:最久未使用K次淘汰算法。

    LRU-K中的K代表最近使用的次数,因此LRU可以认为是LRU-1。LRU-K的主要目的是为了解决LRU算法“缓存污染”的问题,其核心思想是将“最近使用过1次”的判断标准扩展为“最近使用过K次”

    相比LRU,LRU-K需要多维护一个队列,用于记录所有缓存数据被访问的历史。只有当数据的访问次数达到K次的时候,才将数据放入缓存当需要淘汰数据时,LRU-K会淘汰第K次访问时间距当前时间最大的数据。

    实现:

    1)数据第一次被访问,加入到访问历史列表;

    2)如果数据在访问历史列表里后没有达到K次访问,则按照一定规则(FIFO,LRU)淘汰;

    3)当访问历史队列中的数据访问次数达到K次后,将数据索引从历史队列删除,将数据移到缓存队列中,并缓存此数据,缓存队列重新按照时间排序;

    4)缓存数据队列中被再次访问后,重新排序;

    5)需要淘汰数据时,淘汰缓存队列中排在末尾的数据,即:淘汰“倒数第K次访问离现在最久”的数据。

    5、2Q

    类似LRU-2。使用一个FIFO队列和一个LRU队列。

    实现:

    1)新访问的数据插入到FIFO队列;

    2)如果数据在FIFO队列中一直没有被再次访问,则最终按照FIFO规则淘汰;

    3)如果数据在FIFO队列中被再次访问,则将数据移到LRU队列头部;(因为是K=2)

    4)如果数据在LRU队列再次被访问,则将数据移到LRU队列头部;

    5)LRU队列淘汰末尾的数据。

    针对问题:LRU的缓存污染

    弊端:

    当FIFO容量为2时,访问负载是:ABCABCABC会退化为FIFO,用不到LRU。

    互斥锁和读写锁的区别

    互斥锁:mutex,用于保证在任何时刻,都只能有一个线程访问该对象。当获取锁操作失败时,线程会进入睡眠,等待锁释放时被唤醒。

    读写锁:rwlock,分为读锁和写锁。处于读操作时,可以允许多个线程同时获得读操作。但是同一时刻只能有一个线程可以获得写锁。其它获取写锁失败的线程都会进入睡眠状态,直到写锁释放时被唤醒。 注意:写锁会阻塞其它读写锁。当有一个线程获得写锁在写时,读锁也不能被其它线程获取;写者优先于读者(一旦有写者,则后续读者必须等待,唤醒时优先考虑写者)。适用于读取数据的频率远远大于写数据的频率的场合。

    自旋锁:spinlock,在任何时刻同样只能有一个线程访问对象。但是当获取锁操作失败时,不会进入睡眠,而是会在原地自旋,直到锁被释放。这样节省了线程从睡眠状态到被唤醒期间的消耗,在加锁时间短暂的环境下会极大的提高效率。但如果加锁时间过长,则会非常浪费CPU资源。

    互斥锁和读写锁的区别:

    1)读写锁区分读者和写者,而互斥锁不区分

    2)互斥锁同一时间只允许一个线程访问该对象,无论读写;读写锁同一时间内只允许一个写者,但是允许多个读者同时读对象。

    进程状态转换图,动态就绪,静态就绪,动态阻塞,静态阻塞

    1)创建状态:进程正在被创建

    2)就绪状态:进程被加入到就绪队列中等待CPU调度运行

    3)执行状态:进程正在被运行

    4)等待阻塞状态:进程因为某种原因,比如等待I/O,等待设备,而暂时不能运行。

    5)终止状态:进程运行完毕

    2、交换技术

    当多个进程竞争内存资源时,会造成内存资源紧张,并且,如果此时没有就绪进程,处理机(CPU)会空闲,I/0速度比处理机速度慢得多,可能出现全部进程阻塞等待I/O。

     内存中的进程全部在等待IO

    针对以上问题,提出了两种解决方法:

    1)交换技术:换出一部分进程到外存,腾出内存空间。

    2)虚拟存储技术:每个进程只能装入一部分程序和数据。

    3、活动阻塞,静止阻塞,活动就绪,静止就绪 //活动与静止代表处于内存还是外存

    1)活动阻塞:进程在内存,但是由于某种原因被阻塞了。

    2)静止阻塞:进程在外存,同时被某种原因阻塞了。

    3)活动就绪:进程在内存,处于就绪状态,只要给CPU和调度就可以直接运行。

    4)静止就绪:进程在外存,处于就绪状态,只要调度到内存,给CPU和调度就可以运行。

    活动就绪 ——  静止就绪        (内存不够,调到外存)

    活动阻塞 ——  静止阻塞        (内存不够,调到外存)

    执行     ——  静止就绪         (时间片用完)

    A* a = new A; a->i = 10发生了什么

    1)A *a:a是一个局部变量,类型为指针,故而操作系统在程序栈区开辟4/8字节的空间(0x000m),分配给指针a。

    2)new A:通过new动态的在堆区申请类A大小的空间(0x000n)。

    3)a = new A:将指针a的内存区域填入栈中类A申请到的地址的地址。即*(0x000m)=0x000n。

    4)a->i:先找到指针a的地址0x000m,通过a的值0x000n和i在类a中偏移offset,得到a->i的地址0x000n + offset,进行*(0x000n + offset) = 10的赋值操作,即内存0x000n + offset的值是10

    C++继承和虚函数

    C++多态分为静态多态和动态多态。静态多态是通过重载模板技术实现,在编译的时候确定。动态多态通过虚函数继承关系来实现,执行动态绑定在运行的时候确定

    动态多态实现有几个条件:

    (1) 虚函数;

    (2) 一个基类的指针或引用指向派生类的对象;

    基类指针在调用成员函数(虚函数)时,就会去查找该对象的虚函数表。虚函数表的地址在每个对象的首地址。查找该虚函数表中该函数的指针进行调用

    每个对象中保存的只是一个虚函数表的指针,C++内部为每一个类维持一个虚函数表该类的对象的都指向这同一个虚函数表

    虚函数表中为什么就能准确查找相应的函数指针呢?因为在类设计的时候,虚函数表直接从基类也继承过来,如果覆盖了其中的某个虚函数,那么虚函数表的指针就会被替换,因此可以根据指针准确找到该调用哪个函数。

    软链接和硬链接区别

    为了解决文件共享问题,Linux引入了软链接和硬链接。除了为Linux解决文件共享使用,还带来了隐藏文件路径、增加权限安全及节省存储等好处。若1个inode号对应多个文件名,则为硬链接,即硬链接就是同一个文件使用了不同的别名,使用ln创建。若文件用户数据块中存放的内容是另一个文件的路径名指向,则该文件是软连接。软连接是一个普通文件,有自己独立的inode,但是其数据块内容比较特殊。

    硬链接:

    一般情况下,文件名和inode号码是"一一对应"关系,每个inode号码对应一个文件名。

    但是,Unix/Linux系统允许,多个文件名指向同一个inode号码。

    这意味着,可以用不同的文件名访问同样的内容;对文件内容进行修改,会影响到所有文件名;但是,删除一个文件名,不影响另一个文件名的访问。这种情况就被称为"硬链接"(hard link)。

    软链接:

    文件A和文件B的inode号码虽然不一样,但是文件A的内容是文件B的路径。读取文件A时,系统会自动将访问者导向文件B。因此,无论打开哪一个文件,最终读取的都是文件B。这时,文件A就称为文件B的"软链接"(soft link)或者"符号链接(symbolic link)。

    Linux文件系统之inode

    https://www.cnblogs.com/xiexj/p/7214502.html

    一个扇区为512字节,8个扇区组成一个块,一个块是文件存取的最小单位。

    文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode

    硬盘格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。

    每个inode都有一个号码,操作系统用inode号码来识别不同的文件。

    这里值得重复一遍,Unix/linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。

    Unix/Linux系统中,目录(directory)也是一种文件。打开目录,实际上就是打开目录文件。

    目录文件的结构非常简单,就是一系列目录项(dirent)的列表。每个目录项,由两部分组成:所包含文件的文件名,以及该文件名对应的inode号码。

    什么是大端小端以及如何判断大端小端

    大端是指低字节存储在高地址;小端存储是指低字节存储在低地址。

    比如一个long型数据0x12345678(十六进制,一位表示4bit,则共有4x8=32位,8位表示一个字节,则共4个字节

    long共四个字节:0x12 0x34 0x45 0x78(0x12有2x4位,共1个字节)

    在小端中,低字节存储于低地址,高字节存储于高地址:

    地址数据
    0x00000100 0x78
    0x00000101 0x56
    0x00000102 0x34
    0x00000103 0x12

    在大端中,高字节存储于低地址,低字节存储于高地址:

    地址数据
    0x00000100 0x12
    0x00000101 0x34
    0x00000102 0x56
    0x00000103 0x78

     联合体判断大小端:

    联合体test中,几个变量共用一段内存单元,也就是说i和c共用4个字节的内存。

    现在设置这段内存为0X00000001

    然后以c的形式打开这段内存,则如果:

    大端:0x01000000

    小端:0x00000001

    对于来说,它只有一个字节,因此输出c的值时会输出这段地址的低地址的第一个字节,如果是大端,则低地址存放的是高字节,也就是c=0;如果是小端,小端低地址存储低字节,则c=1。

    也可以通过这种方式来判断是否为大小端:

    如果c为1,也就是i的低地址第一个字节存放的是0x01,则为小端。否则为大端。

    void judge_bigend_littleend2()
    {
        int i = 1;
        char c = (*(char*)&i);
    
        if (c)
            printf("小端
    ");
        else
            printf("大端
    ");
    }
    

      

    静态变量什么时候初始化

    首先,静态局部变量和全局变量一样,数据都存放在全局区域,所以在主程序之前,编译器已经为其分配好了内存,但在C和C++中静态局部变量的初始化节点又有点不太一样。在C中,初始化发生在代码执行之前,编译阶段分配好内存之后,就会进行初始化,所以我们看到在C语言中无法使用变量对静态局部变量进行初始化,在程序运行结束,变量所处的全局内存会被全部回收。而在C++中,初始化时在执行相关代码时才会进行初始化,主要是由于C++引入对象后,要进行初始化必须执行相应构造函数和析构函数,在构造函数或析构函数中经常会需要进行某些程序中需要进行的特定操作,并非简单地分配内存。所以C++标准定为全局或静态对象是有首次用到时才会进行构造

    用户态和内核态区别

    用户态和内核态是操作系统的两种运行级别,两者最大的区别就是特权级不同。用户态拥有最低的特权级,内核态拥有较高的特权级。运行在用户态的程序不能直接访问操作系统内核数据结构和程序。内核态和用户态之间的转换方式主要包括:系统调用异常中断

    怎样确定当前线程是繁忙还是阻塞

    使用ps命令查看

    ------------------------------------------------------
    USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
    root 1 0.0 0.0 1340 440 ? S Nov05 0:04 init
    root 2 0.0 0.0 0 0 ? SW Nov05 0:00 [keventd]
    root 3 0.0 0.0 0 0 ? SW Nov05 0:00 [keventd]
    ...
    ------------------------------------------------------
    "S":进程处在睡眠状态,表明这些进程在等待某些事件发生--可能是用户输入或者系统资源的可用性;

    就绪状态的进程在等待什么

    被调度使用cpu的运行权

    自旋锁

    自旋锁可分为用在单核处理器上和用在多核处理器上。

      
    单核处理器:
    用在单核处理器上,又可分为两种:
    1.系统不支持内核抢占
    此时自旋锁什么也不做,确实也不需要做什么,因为单核处理器只有一个线程在执行,又不支持内核抢占,因此资源不可能会被其他的线程访问到(因为不支持抢占,所以自旋锁不做事也无法进入临界区,除非临界区内的线程主动让出CPU)
    2.系统支持内核抢占
    这种情况下,自旋锁加锁仅仅是禁止了内核抢占,解锁则是启用了内核抢占(加锁后禁止内核抢占,相当于变成了1情况,即不支持内核抢占的情况,因此关闭抢占开关后就什么也不做了,解锁后则开启抢占)
    单核下自旋锁死锁:
    首先这种死锁发生在抢占式内核下,如果不可抢占则不可能发生死锁。
    假设此时A正在工作,因某些原因陷入阻塞,CPU被让给B,但A尚未完成工作,未释放锁,因此B虽然占有了CPU,但他只是自旋。
    现在情况变为了A渴求CPU,而B渴求锁,但锁在A身上,CPU在B身上,形成死锁。
    这也就是为什么单核可抢占下要把自旋锁的自旋功能关闭,因为自旋会导致死锁,而只要把自旋锁设计成关闭抢占开关即可。
    在上述两种情况下,在获取自旋锁后可能会发生中断,若中断处理程序去访问自旋锁所保护的资源,则会发生死锁。因此,linux内核又提供了spin_lock_irq()和spin_lock_irqsave(),这两个函数会在获取自旋锁的同时(同时禁止内核抢占),禁止本地外部可屏蔽中断,从而保证自旋锁的原子操作。
    多核处理器:
    多核处理器意味着有多个线程可以同时在不同的处理器上并行执行。举个例子:
    四核处理器,若A处理器上的线程1获取了锁,B、C两个处理器恰好这个时候也要访问这个锁保护的资源,因此他俩CPU就一直自旋忙等待。D并不需要这个资源,因此它可以正常处理其他事情。
    多核情况下就要设计为自旋,不然就能进去临界区。
     
    自旋锁的几个特点:
    1.被自旋锁保护的临界区代码执行时不能睡眠。单核处理器下,获取到锁的线程睡眠,若恰好此时CPU调度的另一个执行线程也需要获取这个锁,则会造成死锁;多核处理器下,若想获取锁的线程在同一个处理器下,同样会造成死锁,若位于另外的处理器,则会长时间占用CPU等待睡眠的线程释放锁,从而浪费CPU资源。
    2.被自旋锁保护的临界区代码执行时不能被其他中断打断。原因同上类似。
    3.被自旋锁保护的临界区代码在执行时,内核不能被抢占,亦同上类似。

    两个进程访问临界区资源,会不会出现都获得自旋锁的情况?

     单核cpu,并且开了抢占可以造成这种情况????????????????????????????

    死锁产生的必要条件?

    互斥条件:每个资源要么已经分配给了一个进程,要么就是可用的。

    占有和等待条件:已经得到某个资源的进程可以再次请求新的资源。

    不可抢占条件:已经分配给一个进程的资源不可被强制地抢占。

    环路等待条件:死锁发生时,系统中一定有两个或两个以上进程组成的一条环路。

     

    内存溢出和内存泄漏

    1、内存溢出

    指程序申请内存时,没有足够的内存供申请者使用。内存溢出就是你要的内存空间超过了系统实际分配给你的空间,此时系统相当于没法满足你的需求,就会报内存溢出的错误

    内存溢出原因:

    内存中加载的数据量过于庞大,如一次从数据库取出过多数据

    集合类中有对对象的引用,使用完后未清空,使得不能回收

    代码中存在死循环或循环产生过多重复的对象实体

    2、内存泄漏

    内存泄漏是指由于疏忽或错误造成了程序未能释放掉不再使用的内存的情况。内存泄漏并非指内存在物理上的消失,而是应用程序分配某段内存后,由于设计错误,失去了对该段内存的控制,因而造成了内存的浪费。

    内存泄漏的分类:

    1、堆内存泄漏 (Heap leak)。对内存指的是程序运行中根据需要分配通过malloc,realloc new等从堆中分配的一块内存,再是完成后必须通过调用对应的 free或者delete 删掉。如果程序的设计的错误导致这部分内存没有被释放,那么此后这块内存将不会被使用,就会产生Heap Leak。

    2、系统资源泄露(Resource Leak)。主要指程序使用系统分配的资源比如 Bitmap,handle ,SOCKET等没有使用相应的函数释放掉,导致系统资源的浪费,严重可导致系统效能降低,系统运行不稳定。

    3、没有将基类的析构函数定义为虚函数。当基类指针指向子类对象时,如果基类的析构函数不是virtual,那么子类的析构函数将不会被调用,子类的资源没有正确是释放,因此造成内存泄露。

    常见线程模型

    1、Future模型

    该模型通常在使用的时候需要结合Callable接口配合使用。

    Future是把结果放在将来获取,当前主线程并不急于获取处理结果。允许子线程先进行处理一段时间,处理结束之后就把结果保存下来,当主线程需要使用的时候再向子线程索取。

    Callable是类似于Runnable的接口,其中call方法类似于run方法,所不同的是run方法不能抛出受检异常没有返回值,而call方法则可以抛出受检异常并可设置返回值。两者的方法体都是线程执行体。

    2、fork&join模型

    该模型包含递归思想和回溯思想,递归用来拆分任务,回溯用合并结果。可以用来处理一些可以进行拆分的大任务。其主要是把一个大任务逐级拆分为多个子任务,然后分别在子线程中执行,当每个子线程执行结束之后逐级回溯,返回结果进行汇总合并,最终得出想要的结果。

    这里模拟一个摘苹果的场景:有100棵苹果树,每棵苹果树有10个苹果,现在要把他们摘下来。为了节约时间,规定每个线程最多只能摘10棵苹树以便于节约时间。各个线程摘完之后汇总计算总苹果树。

    3、actor模型

    actor模型属于一种基于消息传递机制并行任务处理思想,它以消息的形式来进行线程间数据传输,避免了全局变量的使用,进而避免了数据同步错误的隐患。actor在接受到消息之后可以自己进行处理,也可以继续传递(分发)给其它actor进行处理。在使用actor模型的时候需要使用第三方Akka提供的框架。

    4、生产者消费者模型

    生产者消费者模型都比较熟悉,其核心是使用一个缓存来保存任务。开启一个/多个线程来生产任务,然后再开启一个/多个来从缓存中取出任务进行处理。这样的好处是任务的生成和处理分隔开,生产者不需要处理任务,只负责向生成任务然后保存到缓存。而消费者只需要从缓存中取出任务进行处理。使用的时候可以根据任务的生成情况和处理情况开启不同的线程来处理。比如,生成的任务速度较快,那么就可以灵活的多开启几个消费者线程进行处理,这样就可以避免任务的处理响应缓慢的问题。

    5、master-worker模型

    master-worker模型类似于任务分发策略,开启一个master线程接收任务,然后在master中根据任务的具体情况进行分发给其它worker子线程,然后由子线程处理任务。如需返回结果,则worker处理结束之后把处理结果返回给master。

     

    说一说协程

    协程
    多线程和异步IO的缺点即是协程的优点

    协程的特点在于是一个线程执行,最大的优势就是协程极高的执行效率。因为创建或切换协程不是线程创建/切换,它相当于一次函数调用,由程序自身控制,和多线程比,线程数量越多,协程的性能优势就越明显。
    协程不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。
    每个协程通常只需要几十个字节保存相关状态信息,空间开销远低于线程栈;
    系统种可同时运行数千万个协程,数量主要取决于可用内存大小(当然cpu核数也限制)
    协程在性能与异步IO同样,但是在逻辑上和同步IO一样直观
    ps:协程不是进程或线程,其执行过程更类似于子例程,或者说不带返回值的函数调用。我们知道多个线程相对独立,有自己的上下文,切换受系统控制;而协程也相对独立,有自己的上下文,但是其切换由自己控制,由当前协程切换到其他协程由当前协程来控制。

    用户态到内核态的转化原理

    1、系统调用

    这是用户进程主动要求切换到内核态的一种方式,用户进程通过系统调用申请操作系统提供的服务程序完成工作。

    2、异常

    当CPU在执行运行在用户态的程序时,发现了某些事件不可知的异常,这是会触发由当前运行进程切换到处理此。异常的内核相关程序中,也就到了内核态,比如缺页异常。

    3、外围设备的中断

    当外围设备完成用户请求的操作之后,会向CPU发出相应的中断信号,这时CPU会暂停执行下一条将要执行的指令,转而去执行中断信号的处理程序,如果先执行的指令是用户态下的程序,那么这个转换的过程自然也就发生了有用户态到内核态的切换。比如硬盘读写操作完成,系统会切换到硬盘读写的中断处理程序中执行后续操作等。

    2)切换操作

    从出发方式看,可以在认为存在前述3种不同的类型,但是从最终实际完成由用户态到内核态的切换操作上来说,涉及的关键步骤是完全一样的,没有任何区别,都相当于执行了一个中断响应的过程,因为系统调用实际上最终是中断机制实现的,而异常和中断处理机制基本上是一样的,用户态切换到内核态的步骤主要包括:

    1、从当前进程的描述符中提取其内核栈的ss0及esp0信息。

    2、使用ss0和esp0指向的内核栈将当前进程的cs,eip,eflags,ss,esp信息保存起来,这个过程也完成了由用户栈找到内核栈的切换过程,同时保存了被暂停执行的程序的下一条指令。

    3、将先前由中断向量检索得到的中断处理程序的cs,eip信息装入相应的寄存器,开始执行中断处理程序,这时就转到了内核态的程序执行了。

    源码到可执行文件的过程

    1)预编译

    主要处理源代码文件中的以“#”开头的预编译指令。处理规则见下

    1、删除所有的#define,展开所有的宏定义。

    2、处理所有的条件预编译指令,如“#if”、“#endif”、“#ifdef”、“#elif”和“#else”。

    3、处理“#include”预编译指令,将文件内容替换到它的位置,这个过程是递归进行的,文件中包含其他文件。

    4、删除所有的注释,“//”和“/**/”。

    5、保留所有的#pragma 编译器指令,编译器需要用到他们,如:#pragma once 是为了防止有文件被重复引用。

    6、添加行号和文件标识,便于编译时编译器产生调试用的行号信息,和编译时产生编译错误或警告是能够显示行号。

    2)编译

    预编译之后生成的xxx.i或xxx.ii文件,进行一系列词法分析、语法分析、语义分析及优化后,生成相应的汇编代码文件。

    1、词法分析:利用类似于“有限状态机”的算法,将源代码程序输入到扫描机中,将其中的字符序列分割成一系列的记号。

    2、语法分析:语法分析器对由扫描器产生的记号,进行语法分析,产生语法树。由语法分析器输出的语法树是一种以表达式为节点的树。

    3、语义分析:语法分析器只是完成了对表达式语法层面的分析,语义分析器则对表达式是否有意义进行判断,其分析的语义是静态语义——在编译期能分期的语义,相对应的动态语义是在运行期才能确定的语义。

    4、优化:源代码级别的一个优化过程。

    5、目标代码生成:由代码生成器将中间代码转换成目标机器代码,生成一系列的代码序列——汇编语言表示

    6、目标代码优化:目标代码优化器对上述的目标机器代码进行优化:寻找合适的寻址方式、使用位移来替代乘法运算、删除多余的指令等。

    3)汇编

    将汇编代码转变成机器可以执行的指令(机器码文件)。 汇编器的汇编过程相对于编译器来说更简单,没有复杂的语法,也没有语义,更不需要做指令优化,只是根据汇编指令和机器指令的对照表一一翻译过来,汇编过程有汇编器as完成。经汇编之后,产生目标文件(与可执行文件格式几乎一样)xxx.o(Windows下)、xxx.obj(Linux下)。

    4)链接

    不同的源文件产生的目标文件进行链接,从而形成一个可以执行的程序。链接分为静态链接动态链接

    1、静态链接:

    函数和数据被编译进一个二进制文件。在使用静态库的情况下,在编译链接可执行文件时,链接器从库中复制这些函数和数据并把它们和应用程序的其它模块组合起来创建最终的可执行文件

    空间浪费:因为每个可执行程序中对所有需要的目标文件都要有一份副本,所以如果多个程序对同一个目标文件都有依赖,会出现同一个目标文件都在内存存在多个副本

    更新困难每当库函数的代码修改了,这个时候就需要重新进行编译链接形成可执行程序

    运行速度快:但是静态链接的优点就是,在可执行程序中已经具备了所有执行程序所需要的任何东西,在执行的时候运行速度快。

    2、动态链接:

    动态链接的基本思想是把程序按照模块拆分成各个相对独立部分,在程序运行时才将它们链接在一起形成一个完整的程序,而不是像静态链接一样把所有程序模块都链接成一个单独的可执行文件。

    共享库:就是即使需要每个程序都依赖同一个库,但是该库不会像静态链接那样在内存中存在多分,副本,而是这多个程序在执行时共享同一份副本;

    更新方便:更新时只需要替换原来的目标文件,而无需将所有的程序再重新链接一遍。当程序下一次运行时,新版本的目标文件会被自动加载到内存并且链接起来,程序就完成了升级的目标。

    性能损耗:因为把链接推迟到了程序运行时,所以每次执行程序都需要进行链接,所以性能会有一定损失

    1、静态链接
        
            静态链接:譬如让书本和白板上的笔记之间做静态链接,就是把白板上的笔记抄在书上书和笔记形成一个整体(可执行程序),这个时候把白板上的内容擦掉也没关系,因为已经整合到书上了。静态链接的优点是“效率高”因为都在一个地方,你看书就很方便快捷。缺点是可执行程序偏大,需要更多的系统资源。

    2、动态链接
            动态链接:如果只是在书上注释“这章节的笔记在L2-122的白板上”,并没有把笔记抄在书上,书和白板上的笔记是互相独立的,当看书看到这里需要笔记的时候才通过这个注释跑去L2-122教室看白板,这个就叫动态链接。动态链接的方式白板上的内容是不许擦掉的,不然下次找不到。优点就是不占用书本空间,缺点是“效率相对低些”。

    僵尸进程

    1)正常进程

    正常情况下,子进程是通过父进程创建的,子进程再创建新的进程。子进程的结束和父进程的运行是一个异步过程,即父进程永远无法预测子进程到底什么时候结束。 当一个进程完成它的工作终止之后,它的父进程需要调用wait()或者waitpid()系统调用取得子进程的终止状态。

    unix提供了一种机制可以保证只要父进程想知道子进程结束时的状态信息, 就可以得到:在每个进程退出的时候,内核释放该进程所有的资源,包括打开的文件,占用的内存等。 但是仍然为其保留一定的信息,直到父进程通过wait / waitpid来取时才释放。保存信息包括:

    1进程号the process ID

    2退出状态the termination status of the process

    3运行时间the amount of CPU time taken by the process等

    2)孤儿进程:父进程先死

    一个父进程退出,而它的一个或多个子进程还在运行,那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养,并由init进程对它们完成状态收集工作。

    3)僵尸进程:子进程先死,无人收尸

    一个进程使用fork创建子进程,如果子进程退出,而父进程并没有调用wait或waitpid获取子进程的状态信息,那么子进程的进程描述符仍然保存在系统中。这种进程称之为僵尸进程。

    僵尸进程是一个进程必然会经过的过程:这是每个子进程在结束时都要经过的阶段。

    如果子进程在exit()之后,父进程没有来得及处理,这时用ps命令就能看到子进程的状态是“Z”。如果父进程能及时 处理,可能用ps命令就来不及看到子进程的僵尸状态,但这并不等于子进程不经过僵尸状态。

    如果父进程在子进程结束之前退出,则子进程将由init接管。init将会以父进程的身份对僵尸状态的子进程进行处理。

    危害:

    如果进程不调用wait / waitpid的话, 那么保留的那段信息就不会释放,其进程号就会一直被占用,但是系统所能使用的进程号是有限的,如果大量的产生僵死进程,将因为没有可用的进程号而导致系统不能产生新的进程。

    外部消灭

    当系统中出现了僵尸进程时,我们是无法通过 kill 命令把它清除掉的。但是我们可以杀死它的父进程,让它变成孤儿进程,并进一步被系统中管理孤儿进程的进程收养并清理。

    内部解决:

    1、子进程退出时向父进程发送SIGCHILD信号,父进程处理SIGCHILD信号。在信号处理函数中调用wait进行处理僵尸进程。

    2、fork两次,原理是将子进程成为孤儿进程,从而其的父进程变为init进程,通过init进程可以处理僵尸进程

     父进程一次fork()后产生一个子进程随后立即执行waitpid(子进程pid, NULL, 0)来等待子进程结束,然后子进程fork()后产生孙子进程随后立即exit(0)。这样子进程顺利终止(父进程仅仅给子进程收尸,并不需要子进程的返回值),然后父进程继续执行。这时的孙子进程由于失去了它的父进程(即是父进程的子进程),将被转交给Init进程托管。于是父进程与孙子进程无继承关系了,它们的父进程均为Init,Init进程在其子进程结束时会自动收尸,这样也就不会产生僵尸进程了。

    5种IO模型

    前四种都是同步,只有最后一种才是异步IO。

    1.阻塞IO:调用者调用了某个函数,等待这个函数返回,期间什么也不做,不停的去检查这个函数有没有返回,必须等这个函数返回才能进行下一步动作
    2.非阻塞IO:非阻塞等待,每隔一段时间就去检测IO事件是否就绪。没有就绪就可以做其他事。
    3.信号驱动IO:信号驱动IO:linux用套接口进行信号驱动IO,安装一个信号处理函数,进程继续运行并不阻塞,当IO时间就绪,进程收到SIGIO信号。然后处理IO事件
    4.IO复用/多路转接IO:linux用select/poll函数实现IO复用模型,这两个函数也会使进程阻塞,但是和阻塞IO所不同的是这两个函数可以同时阻塞多个IO操作。而且可以同时对多个读操作、写操作的IO函数进行检测。知道有数据可读或可写时,才真正调用IO操作函数
    5.异步IO:linux中,可以调用aio_read函数告诉内核描述字缓冲区指针和缓冲区的大小、文件偏移及通知的方式,然后立即返回,当内核将数据拷贝到缓冲区后再通知应用程序

    同步:
          所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回。也就是必须一件一件事做,等前一件做完了才能做下一件事。

    异步:
          异步的概念和同步相对。当一个异步过程调用发出后,调用者不能立刻得到结果。实际处理这个调用的部件在完成后,通过状态、通知和回调来通知调用者。
    举例:

    A:阻塞IO,B:非阻塞IO,C:多路复用IO,D:信号驱动IO,E:异步IO 五个人在钓鱼:
    A用的是最老式的鱼竿,所以呢,得一直守着,等到鱼上钩了再拉杆;
    B的鱼竿有个功能,能够显示是否有鱼上钩,所以呢,B就和旁边的MM聊天,隔会再看看有没有鱼上钩,有的话就迅速拉杆;
    C用的鱼竿和B差不多,鱼竿有显示是否上钩的功能,但他想了一个好办法,就是同时放好几根鱼竿(select/poll/epoll),然后守在旁边,一旦有显示说鱼上钩了,它就将对应的鱼竿拉起来
    D的鱼竿比较高级,鱼竿自带一个信号器,E不需要守着鱼竿,鱼上钩后,信号器自动给E发送短信通知,E过来取鱼

    E是个有钱人,干脆雇了一个人(kernel)帮他钓鱼,一旦那个人把鱼钓上来了,就给D发个短信,并送鱼上门

    synchronous(同步) IO和asynchronous(异步) IO的区别:

    两者的区别就在于synchronous IO做”IO operation”的时候会将process阻塞。按照这个定义,之前所述的blocking IO,non-blocking IO,IO multiplexing(复用)都属于synchronous IO。有人可能会说,non-blocking IO并没有被block啊。这里有个非常“狡猾”的地方,定义中所指的”IO operation”是指真实的IO操作。non-blocking IO在执行recvfrom这个系统调用的时候,如果kernel的数据没有准备好,这时候不会block进程。但是当kernel中数据准备好的时候,recvfrom会将数据从kernel拷贝到用户内存中,这个时候进程是被block了在这段时间内进程是被block的。而asynchronous IO则不一样,当进程发起IO操作之后,就直接返回再也不理睬了,直到kernel发送一个信号,告诉进程说IO完成。在这整个过程中,进程完全没有被block。
    asynchronous IO,它就像是用户进程将整个IO操作交给了他人(kernel)完成,然后他人做完后发信号通知。在此期间,用户进程不需要去检查IO操作的状态,也不需要主动的去拷贝数据。

  • 相关阅读:
    [cocos2dx 3.0 + xcode]疑难点记录
    [转]全球付虚拟卡申请流程~
    [转]全球付虚拟卡申请开发者账号的流程~
    [cocos2d-x3.0]Android+NDK+Eclipse环境搭建及编译步骤~
    Torque2D MIT 学习笔记(27) ---- ImageFont的使用以及字体ImageAsset的工具生成
    关于拒绝测试驱动开发(NoTDD)
    工作两年随感
    一个Java应用,三种字体风格(Java, Windows, Mac),真是蛋疼
    看看这蛋疼的Java代码
    Bash实用技巧:同时循环两个列表
  • 原文地址:https://www.cnblogs.com/lxy-xf/p/11341110.html
Copyright © 2011-2022 走看看