操作系统最重要的一点就是具有多道程序设计。通常来说，单个用户并不能使CPU或者I/O设备都繁忙。多道程序设计通过组织作业（编码或数据）的形式，使得CPU总有作业可执行，从而大大提高了CPU的利用率。多道程序设计的思想如下：
操作系统同时将多个任务保存在内存中。该作业集可以是作业池中作业集的子集（因为作业池中包含所有进入操作系统的作业），这是因为内存中可保存的作业数量要比可保存在作业池中的作业的数量要少。操作系统选择一个进入内存中的作业并执行，最终的结果可能是该作业必须等待另一任务的完成。对于非多道程序系统，在等待的过程中，CPU会空闲；但对于多道程序系统来说，CPU会切换到另一作业执行，当当前的作业也需要等待时，CPU又会继续切换到另一作业，有点类似于递归的过程。到最后，第一个作业完成等待并获得CPU。只要有一个作业可以执行，CPU就不会空闲。
多道程序设计系统提供了一个可以充分使用各种资源的环境，但是并没有提供与计算机系统直接交互的能力。
分时系统
是多道程序设计的延伸。在分时系统中，虽然CPU还是通过来回切换作业，使得多个作业可以同时执行，但由于切换的频率过高，用户可以在程序执行期间与之进行交互。
分时系统需要一种交互式计算机系统，它能提供用户与系统之间的直接通信。
分时系统允许多个用户共享计算机。
分时系统采用CPU调度和多道程序设计，以提供给每个用户一小部分分时计算机。