Aufs与Devicemapper的关系

Aufs与Devicemapper的应用

Aufs是Docker最初采用的文件系统，由于Aufs未能加入到Linux内核，考虑到兼容性问题，加入了Devicemapper的支持。目前，除少数版本如Ubuntu，Docker基本运行在Devicemapper基础上。这一节中，我们将着重介绍Aufs和Devicemapper的应用。

Aufs

Aufs是Another Union File System的缩写，是一种Union FS，支持将多个目录挂载到同一个虚拟目录下。由于上文已有介绍，不再赘述。这里主要介绍一下Aufs的使用。默认采用的是Ubuntu:14.04。
Aufs的使用非常简单，只需简单的mount命令即可：

root@Standard-PC:/tmp# tree
.
├── aufs
├── dir1
│   └── file1
└── dir2
    └── file2
root@Standard-PC:/tmp# sudo mount -t aufs -o br=/tmp/dir1=ro:/tmp/dir2=rw none /tmp/aufs
mount: warning: /tmp/aufs seems to be mounted read-only.
root@Standard-PC:/tmp#

假设在/tmp目录下存在如上文件结构，file1的内容为：this is dir1，file2的内容为：this is dir2。我们使用mount命令将dir1和dir2挂载到/tmp/aufs目录下，其中：

• -o 指定mount传递给文件系统的参数
• br 指定需要挂载的文件夹，这里包括dir1和dir2
• ro/rw 指定文件的权限只读和可读写
• none 这里没有设备，用none表示

经过以上命令，文件夹dir1和dir2被挂载到了/tmp/aufs目录下，且file1只有只读属性：

root@Standard-PC:/tmp/aufs# echo hello > file1
bash: file1: Read-only file system
root@Standard-PC:/tmp/aufs# echo hello > file2

root@Standard-PC:/tmp/dir2# cat file2 
hello

写到这里有的读者可能会问，如果dir1和dir2两个文件夹含有相同的文件会发生什么情况，我们来试一下，将dir1中的file1更名为file2， 重新挂载。我们发现/tmp/aufs目录中仅有file2，且内容为dir1中file2的内容。由此可见，在挂载的过程中，mount命令按照命令行中给出的文件夹顺序挂载，若出现有同名文件的情况，则以先挂载的为主，其他的不再挂载。这也说明了的Docker镜像为什么采用增量的方式：完全是利用Aufs的特性达到节约空间的目的。

root@wangqingze-Standard-PC:/tmp/aufs# ls
file2
root@wangqingze-Standard-PC:/tmp/aufs# cat file2 
this is dir1
root@wangqingze-Standard-PC:/tmp/aufs# 

Devicemapper

在介绍Devicemapper之前，我们首先介绍几个Linux下有关Logical Volume的概念以及他们的特性，以帮助后文的理解，主要包括：Snapshot，Thinly-Provisioned Snapshot。

Snapshot是Lvm提供的一种特性，它可以在不中断服务运行的情况下为the origin（original device）创建一个虚拟快照(Snapshot)，它具有以下几个特点：

1. 当the origin内容发生变化时，snapshot对变化的部分做一个拷贝以用来对the origin进行重构。
2. 因为只对变化的部分做拷贝，所以Lvm的Snapshot在读操作频繁而写操作不频繁的情况下占用很少的一部分空间便能完成特定任务。
3. 当Snapshot大小耗尽或者远大于实际需求时，我们可以对其大小进行调节。
4. 当对Snapshot的数据进行写操作的时候，Snapshot实施相应操作，并丢弃从the origin的拷贝，以后的操作以写操作之后Snapshot中的数据为准。
5. 在某些发行版的Linux系统下，可以使用lvconvert的--merge选项将Snapshot合并回the origin。

对Snapshot的应用诸如：对数据进行实时备份，利用其可读写的特性创建Snapshot供测试等等。

Thin-Provisioning是一项利用虚拟化方法减少物理存储部署的技术，可最大限度提升存储空间利用率。下图中展示了某位用户向服务器管理员请求分配10TB的资源的情形。实际情况中这个数值往往是峰值，根据使用情况，分配2TB就已足够。因此，系统管理员准备2TB的物理存储，并给服务器分配10TB的虚拟卷。服务器即可基于仅占虚拟卷容量1/5的现有物理磁盘池开始运行。这样的“始于小”方案能够实现更高效地利用存储容量。

Thin-provisioning Snapshot结合Thin-Provisioning和Snapshot两种技术，允许多个虚拟设备同时挂载到一个数据卷以达到数据共享的目的。Thin-Provisioning Snapshot的特点如下：

1. 可以将不同的snaptshot挂载到同一个the origin上，节省了磁盘空间。
2. 当多个Snapshot挂载到了同一个the origin上，并在the origin上发生写操作时，将会触发COW操作。这样不会降低效率。
3. Thin-Provisioning Snapshot支持递归操作，即一个Snapshot可以作为另一个Snapshot的the origin，且没有深度限制。
4. 在Snapshot上可以创建一个逻辑卷，这个逻辑卷在实际写操作（COW，Snapshot写操作）发生之前是不占用磁盘空间的。

Thin-Provisioning Snapshot虽然有诸多优点，但是也有很多不足之处，例如大小固定等问题，如若有兴趣可以阅读参考文献，这里不再赘述。

Thin-Provisioning Snapshot是作为device mapper的一个target在内核中实现的。Device mapper 是Linux 2.6内核中提供的一种从逻辑设备到物理设备的映射框架机制。在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略，如条带化，镜像，快照等。

Device Mapper主要包含内核空间的映射和用户空间的device mapper库及dmsetup工具。Device Mapper库是对ioctl、用户空间创建删除Device Mapper逻辑设备所需必要操作的封装，dmsetup是一个提供给用户直接可用的创建删除device mapper设备的命令行工具。

我们以dmsetup命令来介绍一下Thin-Provisioning Snapshot时如何实现的。Thin-Provisioning Snapshot需要一个data设备和一个metadata设备分别用来存放实际数据和元数据。有两种方式可以更改metadta：一种时通过函数调用，另一种则是通过dmsetup message命令。这里，我们创建两个稀疏文件作为data和metadata设备：

[root@qingze dev]# dd if=/dev/zero of=/tmp/metadata bs=1K count=1 seek=2G
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 0.000153611 s, 6.7 MB/s
[root@qingze dev]# dd if=/dev/zero of=/tmp/data bs=1K count=1 seek=100G
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 8.7567e-05 s, 11.7 MB/s

以上命令分别创建了2G的metadata和100G的data两个稀疏文件。注意命令中seek选项，其表示为略过of选项指定的输出文件的前2G空间再写入内容。这2G在硬盘上是没有占有空间的，占有空间只有1k的内容。当向其写入内容时，才会在硬盘上为其分配空间。

文件创建完成后，我们将其挂载到loopback设备上，以供使用：

[root@qingze dev]# losetup /dev/loop0 /tmp/metadata
[root@qingze dev]# losetup /dev/loop1 /tmp/data
[root@qingze dev]# losetup -a
/dev/loop0: [0035]:183033 (/tmp/metadata)
/dev/loop1: [0035]:185651 (/tmp/data)

准备工作就绪后，我们开始正式创建Snapshot。首先创建一个thin-pool，指定要用哪些设备来创建Snapshot，此命令的作用为：将逻辑设备的0～20971520之间的sector映射到/dev/loop1上，元数据信息存储到/dev/loop1：

[root@qingze dev]# dmsetup create pool --table "0 20971520 thin-pool 
/dev/loop0 /dev/loop1 128 32768 1 skip_block_zeroing"

• pool指定thin-pool的名字
• --table指定dmsetup的一个target，其中：
  0表示起始sector
  20971520表示sector的数量
  thin-pool表示target的名字
  /dev/loop0 /dev/loop1为设备名
  128表示一次可分配的最小sector数
  32768表示空闲空间的阈值
  1特征参数的个数
  skip_block_zeroing特征参数，表示略过用0填充的块

在继续创建Snapshot前，需要创建一个Thinly-Provisioned volume并格式化：

[root@qingze dev]# dmsetup message /dev/mapper/pool 0 "create_thin 0"
[root@qingze dev]# dmsetup create thin --table "0 2097152 thin /dev/mapper/pool 0"
[root@qingze dev]# mkfs.ext4 -E discard,lazy_itable_init=0 /dev/mapper/thin

命令的格式为：

message device_name sector message
Send message to target. If sector not needed use 0
'0' is an identifier for the volume

官方文档中对Snapshot有internal和external之分，说明如下：

internal snapshot:
Once created, the user doesn't have to worry about any connection
between the origin and the snapshot. Indeed the snapshot is no
different from any other thinly-provisioned device and can be
snapshotted itself via the same method. It's perfectly legal to
have only one of them active, and there's no ordering requirement on
activating or removing them both. (This differs from conventional
device-mapper snapshots.)

external snapshot:
You can use an external read only device as an origin for a
thinly-provisioned volume. Any read to an unprovisioned area of the
thin device will be passed through to the origin. Writes trigger
the allocation of new blocks as usual.

读者可以根据自己的需求选择，这里我们只建立一个internal snapshot：

[root@qingze dev]# dmsetup suspend /dev/mapper/thin
[root@qingze dev]# dmsetup message /dev/mapper/pool 0 "create_snap 1 0"
[root@qingze dev]# dmsetup resume /dev/mapper/thin
[root@qingze dev]# dmsetup create snap --table "0 2097152 thin /dev/mapper/pool 1"
[root@qingze dev]# dmsetup status
thin: 0 2097152 thin 99840 2097151
fedora-swap: 0 8126464 linear 
fedora-root: 0 104857600 linear 
snap: 0 2097152 thin 99840 2097151
pool: 0 20971520 thin-pool 0 280/4161600 780/163840 - rw discard_passdown queue_if_no_space 
fedora-home: 0 97509376 linear

至此，我们已经成功建立了一个Snapshot，接下来可以将其挂载到任何一个文件夹下，并对其进行创建文件等操作：

[root@qingze dev] mount /dev/mapper/snap dv

我们在dv文件夹下创建一个内容为this is snap的文件file，然后，在snap的基础上再创建一个snap1，观察发生了什么：

[root@qingze tmp]# dmsetup message /dev/mapper/pool 0 "create_snap 2 1"
[root@qingze tmp]# dmsetup create snap1 --table "0 2097152 thin /dev/mapper/pool 2"
[root@qingze tmp]# mkdir dv1
[root@qingze tmp]# mount /dev/mapper/snap1 dv1

[root@qingze dv]# cd ..
[root@qingze tmp]# cd dv1
[root@qingze dv1]# ls
file  lost+found
[root@qingze dv1]# cat file
this is snap

可以发现包含同样的文件和内容。事实上，Docker正是以这种方式来创建容器的，读者可以执行以下命令来验证：

#在`metadata`文件夹下查看某个某个容器的`device_id`
[root@qingze metadata]# cat 3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a 
{"device_id":910,"size":10737418240,"transaction_id":1817,"initialized":false}
#创建并挂载snapshot
[root@qingze tmp]# dmsetup message /dev/mapper/docker-253:1-3020991-pool 0 "create_snap 6001 910"
[root@qingze tmp]# dmsetup create snap6 --table "0 20971520 thin /dev/mapper/docker-253:1-3020991-pool 6001"
[root@qingze tmp]# mkdir dv6
[root@qingze tmp]# mount /dev/mapper/snap6 dv6
[root@qingze tmp]# cd dv6/
[root@qingze dv6]# ls
id  lost+found  rootfs
[root@qingze dv6]# cd rootfs/
[root@qingze rootfs]# ls
bin  boot  dev  etc  home  lib  lib64  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var

源码分析

在继续介绍之前，我们首先介绍一下Docker的系统架构。Docker采用一种c/s的结构，如下图所示，由Client和Daemon两部分组成。Docker Daemon主要由三部分：Server，Engine和Job。Docker Daemon启动时首先进行一些初始化操作，如初始化network，创建grapdriver，创建execdriver等等。在初始化结束后，Docker Daemon启动Server负责监听Docker Client发来的请求，Server的运行以及其对Docker Client端请求的响应都是以Job的形式在Engine中完成的。Engine是Docker架构中的运行引擎，同时也是Docker的核心模块。一个Job可以认为是Docker架构中Engine内部最基本的工作执行单元。Docker可以做的每一项工作，都可以抽象为一个Job。Docker Client负责对命令行的解析，其运用反射机制将命令行转换成函数的形式通过某种协议与Docker Daemon进行通信，通过Router以RPC的方式调用Server相应功能。目前，Docker支持三种调用方式：fd，unix socket，http。值得注意的是，Docker Daemon向Docker Client提供的所有功能都是以Handler的方式注册到Engine中的。举例说明，Engine的Handler对象中有一项为：{"create":daemon.ContainerCreate}，则说明当名为"create"的Job在运行时，执行的是daemon.ContainerCreate的Handler。这样做的好处是增加了系统的可扩展性，添加新功能时只需简单的将其注册到Engine中即可。

在Docker中为了实现对多种不同文件系统的支持，增加系统的可扩展性，Docker采用多态的方式将文件系统的操作抽象为ProtoDriver接口：

type ProtoDriver interface {
    // String returns a string representation of this driver.
    String() string
    // Create creates a new, empty, filesystem layer with the
    // specified id and parent. Parent may be "".
    Create(id, parent string) error
    // Remove attempts to remove the filesystem layer with this id.
    Remove(id string) error
    // Get returns the mountpoint for the layered filesystem referred
    // to by this id. You can optionally specify a mountLabel or "".
    // Returns the absolute path to the mounted layered filesystem.
    Get(id, mountLabel string) (dir string, err error)
    // Put releases the system resources for the specified id,
    // e.g, unmounting layered filesystem.
    Put(id string)
    // Exists returns whether a filesystem layer with the specified
    // ID exists on this driver.
    Exists(id string) bool
    // Status returns a set of key-value pairs which give low
    // level diagnostic status about this driver.
    Status() [][2]string
    // Cleanup performs necessary tasks to release resources
    // held by the driver, e.g., unmounting all layered filesystems
    // known to this driver.
    Cleanup() error
}

ProtoDriver包含了各文件系统所需的基本操作，如Crate，Remove等，不同的文件系统只需简单的实现各接口即可。Go语言在语法上与其他语言有些不同，如果不理解具体实现，请参阅相关文档。Docker中文件系统的继承结构如下图（仅Aufs和Devivcemapper画出）：

Docker文件系统功能分为两部分：文件系统初始化和创建容器。我们首先介绍初始化部分Aufs和Devicemapper实现的功能，然后再介绍如何创建容器。

文件系统初始化过程是在Docker Daemon启动时进行的。 在Docker Daemon启动时会调用Newdaemon函数，继而调用NewdaemonFromDirectory完成相关环境的设置与初始化。其中，以下为初始化文件系统的操作：

// Load storage driver
    driver, err := graphdriver.New(config.Root, config.GraphOptions)
    if err != nil {
        return nil, err
    }
    log.Debugf("Using graph driver %s", driver)

graphdriver.New函数会调用daemon/graphdriver/driver.go中的GetDriver函数：

func GetDriver(name, home string, options []string) (Driver, error) {
    if initFunc, exists := drivers[name]; exists {
        return initFunc(path.Join(home, name), options)
    }
    return nil, ErrNotSupported
}

GetDriver函数中通过drivers[name]返回物理机所支持的文件系统的初始化函数，进行初始化操作。整个流程如下图：

Aufs在初始化Init函数中主要完成了以下几个操作：

1. 调用surportsAufs函数加载Aufs模块。
2. 调用MakePrivate在系统中为/var/lib/docker/aufs创建一个挂载点。这里的实现原理与mount --bind命令一样，只不过mount命令的源文件夹和目的文件夹一样，在系统中只创建了挂载点而已。并且这个挂载点的内容即不受源文件夹的影响也不影响源文件夹。
3. 最后，在/var/lib/docker/aufs创建mnt， diff， layers文件夹。mnt文件夹为容器的挂载点目录，每一个容器在mnt下都有一个长ID目录，对应为该容器的rootfs的挂载点。diff有着与mnt中对应的长ID目录，这里的每个目录对应Docker 镜像的一个layer层，里面存放的是该layer相比较于父layer变化的内容。注意： 这里才是存放我们在容器中看到的内容的地方，比如/usr, /bin等等。

相比之下，Devicemapper的初始化操作Init相对麻烦一些。Devicemapper在使用的过程中需要需要一个24-bit的标识来唯一标记一个Snapsot，同时为了保证向metadata中数据的一致性，Dokcer定义了DeviceSet和DevInfo结构，通过对属性DeviceId和TransactionId加锁来实现一致性。DeviceSet和DevInfo是一对多的关系，每一个Snapshot都会对应一个DevInfo在DeviceSet中。

在初始化的过程中，Init首先调用NewDeviceset函数构建一个DeviceSet对象，配置相关选项，接着调用initDevmapper函数完成Devicemapper的初始化操作，大致分为四个步骤：

1. 创建一个thin pool。为了创建thin pool，需要两个块设备。默认情况下，Docker启动时为我们在/var/lib/docker/devicemapper/devicemapper下创建了100G的metadata和2G的data两个文件，并挂载到loopback设备/dev/loop0和/dev/loop1，用loop0，loop1创建thin pool。由于它们是稀疏文件，所以直到被使用，否则它们是不占用空间的。
   <

   

2. 在setupBaseImage中调用createRegisterDevice创建一个external snapshot用作Snapshot的the origin。
3. 在setupBaseImage中调用activateDeviceIfNeeded激活步骤2创建的的设备。
4. 在setupBaseImage中调用createFilesystem对步骤2创建的的设备格式化。

   

在我们使用docker run创建一个容器时，如下图，这个过程分为两个步骤：1.创建容器，2.启动容器。以下两个小节中，我们将以创建ID为4ff06b5335f4为例说明创建容器的过程。

Aufs在创建容器的过程中调用createRootfs函数创建容器运行所需的rootfs，具体步骤如下：

1. 在createRootfs调用Create函数mnt和diff文件夹下创建4ff06b5335f4-init文件夹。
2. 在createRootfs调用Get函数将容器4ff06b5335f4所依赖的layer按照继承顺序挂载到mnt/4ff06b5335f4-init文件夹下。如下图所示,假设继承顺序为511136ea3c5a<-3b363fd9d7da<-607c5d1cca7<-f62feddc05dc<-8eaa4ff06b53<-4ff06b5335f4，则按照这个顺序连同diff/4ff06b5335f4-init文件夹一起挂载。强调一点是，这里除diff/4ff06b5335f4-init文件夹外，所有权限都是read-only，这样我们向容器进行写操作时,所有的内容都会出现在diff/4ff06b5335f4-init文件夹。

   

3. 在createRootfs再次调用Create函数在mnt和diff文件夹下创建4ff06b5335f4文件夹。

当容器创建完成后,进入容器启动阶段：

在Mount调用Get函数将容器4ff06b5335f4所依赖的layer按照继承顺序挂载到mnt/4ff06b5335f4文件夹下，操作如同第一次挂载。

Devmapper在创建容器的过程中同样调用createRootfs函数创建容器运行所需的rootfs，具体步骤如下：

1. 在createRootfs调用Create函数，其调用AddDevice->createRegisterSnapDevice->CreateSnapDevice创建一个Snapshot 4ff06b5335f4-init，下图中以Snap-init-3表示。其继承了Snap-1,Snap-2的所有内容，并且只保存相对于Snap-2，Snap-3变化的内容。这里为了简单未画出所有的snapshot，读者可以认为已经存在了容器4ff06b5335f4所需的所有layer，而Snap-2是容器4ff06b5335f4的父layer。

   

2. 在createRootfs调用Get函数， 其调用MountDevice->activateDeviceIfNeeded完成设备的激活，最后调用系统调用将Snapshot 4ff06b5335f4-init挂载到mnt/4ff06b5335f4-init文件夹下。
3. 在createRootfs调用Create函数创建Snapshot 4ff06b5335f4，即图中的Snap-3。

   

当容器创建完成后,进入启动阶段:

在Mount调用Get函数，其调用MountDevice->activateDeviceIfNeeded完成设备的激活，最后调用系统调用将Snapshot 4ff06b5335f4挂载到mnt/4ff06b5335f4文件夹下。

总结

Aufs实现起来比较简单，但是由于其迟迟不能加入linux内核，导致兼容性差。目前，仅有Ubuntu支持。Devicemapper虽然实现起来复杂，但兼容性好。其存在的一点不足是，当metadata和data空间被耗尽时，需要重启Docker来扩充空间。

作者简介

王青泽，软件开发工程师。东北大学硕士,研究方向为基于Hadoop的多样性标签推荐。2014年毕业后就职于京东，参与并完成了基于Docker的Falcon自动化运维项目，因而对Docker产生了浓厚兴趣。邮箱：qingzew@126.com

参考文献

1. http://www.infoq.com/cn/articles/docker-core-technology-preview
2. http://tech.365rili.com/?p=41
3. http://www.thegeekstuff.com/2013/05/linux-aufs/
4. https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Logical_Volume_Manager_Administration/snapshot_volumes.html
5. http://www.turbolinux.com.cn/turbo/wiki/doku.php?id=%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86:linux_device_mapper
6. http://www.projectatomic.io/docs/filesystems/
7. http://blog.csdn.net/cymm_liu/article/details/8760033
8. https://www.kernel.org/doc/Documentation/device-mapper/thin-provisioning.txt