docker存储卷
COW机制
Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。
如果运行中的容器修改了现有的一个已经存在的文件,那么该文件将会从读写层下面的只读层复制到读写层,该文件的只读版本依然存在,只是已经被读写层中该文件的副本所隐藏,这就是“写时复制(COW)”机制。
对于这种方式来说,我们去访问一个文件,修改和删除等一类的操作,其效率会非常的低,因为隔着很多层镜像。
而要想绕过这种限制,我们可以通过使用存储卷的机制来实现。
什么是存储卷
存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着,当我们在容器中的这个目录下写入数据时,容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。
在宿主机上的这个与容器形成绑定关系的目录被称作存储卷。
使用存储卷的好处
如果容器中跑的进程的所有有效数据都保存在存储卷中,从而脱离容器自身文件系统之后,带来的好处是当容器关闭甚至被删除时,只要不删除与此容器绑定的在宿主机上的这个存储目录,我们就不用担心数据丢失了。因此就可以实现数据持久,脱离容器的生命周期而持久。
我们通过这种方式管理容器,容器就可以脱离主机的限制,可以在任意一台部署了docker的主机上跑容器,而其数据则可以置于一个共享存储文件系统上,比如nfs。
Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的,也就是说宿主机上有一块属于自己的硬盘,这个硬盘并没有共享给其他的Docker主机,而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。
这就意味着容器在这台主机上停止运行或者被删除了再重建,只要关联到硬盘上的这个目录下,那么其数据还存在。但如果在另一台主机上启动一个新容器,那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上,那么这个问题就不再是问题了。
为什么要用存储卷
关闭并重启容器,其数据不受影响,但删除Docker容器,则其更改将会全部丢失。
因此Docker存在的问题有:
- 存储于联合挂载文件系统中,不易于宿主机访问
- 容器间数据共享不便
- 删除容器其数据会丢失
而要解决这些问题,解决方案就是使用存储卷。
存储卷管理方式
存储卷(Data Volume)于容器初始化时被自动创建,由base image提供的卷中的数据会于此期间完成复制。
Volume的初衷是独立于容器的生命周期实现数据持久化,因此删除容器之时既不会删除卷,也不会对未被引用的卷做垃圾回收操作。
存储卷为Docker提供了独立于容器的数据管理机制,我们可以把镜像想象成静态文件,例如“程序”,把卷类比为动态内容,例如“数据”。所以镜像可以重用,而卷则可以共享。
卷实现了“程序(镜像)”和“数据(卷)”的分离,以及“程序(镜像)”和“制作镜像的主机”的分离,用户制作镜像时无须再考虑镜像运行的容器所在的主机的环境。
存储卷的分类
Docker有两种类型的卷,每种类型都在容器中存在一个挂载点,但其在宿主机上的位置有所不同:
- 绑定挂载卷
- 指向主机文件系统上用户指定位置的卷
- Docker管理卷
- Docker守护进程在由Docker拥有的主机文件系统的一部分中创建托管卷
容器数据管理
用户在使用Docker的过程中,往往需要能查看容器内应用产生的数据,或者需要把容器内的数据进行备份,甚至多个容器之间进行数据的共享,这必然涉及容器的数据管理操作。
容器中管理数据主要有两种方式:
- 数据卷(Data Volumes)
- 数据卷容器(Data Volumes Containers)
容器Volume使用语法:
Docker-managed volume
docker run -it --name CONTAINER_NAME -v VOLUMEDIR IMAGE_NAME
Bind mount volume
docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME
在容器中使用数据卷
在容器内创建一个数据卷
//使用nginx镜像创建一个test1容器,并创建一个数据卷挂载到容器的/data目录下:
[root@localhost ~]# docker run -it --name test1 -v /data busybox
/ # ls
bin data dev etc home proc root sys tmp usr var
/ #
//使用docker inspect命令查找谁与容器里的data绑定
[root@localhost ~]# docker inspect test1
。。。。。。
"Type": "volume",
"Name": "664d3519c1237b8405b5d91d20a289104e86b5ecbc0d97579771156cafbc9246",
"Source": "/var/lib/docker/volumes/664d3519c1237b8405b5d91d20a289104e86b5ecbc0d97579771156cafbc9246/_data",
//此与容器里的data有绑定
。。。。。。
"Cmd": [
"sh"
],
"Image": "busybox",
"Volumes": {
"/data": {} //挂载卷
//进入/var/lib/docker/volumes/664d3519c1237b8405b5d91d20a289104e86b5ecbc0d97579771156cafbc9246/_data里创建一adc文件
[root@localhost ~]# cd /var/lib/docker/volumes/664d3519c1237b8405b5d91d20a289104e86b5ecbc0d97579771156cafbc9246/_data
[root@localhost _data]# ls
[root@localhost _data]# touch adc
[root@localhost _data]# ls
adc
//在text1容器里查看data目录
[root@localhost ~]# docker run -it --name test1 -v /data busybox
/ # ls
bin data dev etc home proc root sys tmp usr var
/ # cd /data
/data # ls
adc
/data #
//删除容器,在检查真机里的绑定目录data
[root@localhost ~]# docker rm -f test1
test1
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
[root@localhost ~]#
[root@localhost ~]# cd /var/lib/docker/volumes/664d3519c1237b8405b5d91d20a289104e86b5ecbc0d97579771156cafbc9246/_data
[root@localhost _data]# ls
[root@localhost _data]# touch adc
[root@localhost _data]# ls
adc
//因为创建容器的时候用了-v,所以在真机里不会被删除,如果在根里创建的话是会被删除的
挂载一个主机目录作为数据卷
[root@localhost ~]# mkdir /mydata
[root@localhost ~]# docker run -it --name mf -v /mydata:/data busybox
/ #
//打开另一个终端
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 1.9G 0 1.9G 0% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 2.0G 9.1M 2.0G 1% /run
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
/dev/mapper/rhel-root 17G 2.3G 15G 14% /
/dev/sda1 1014M 146M 869M 15% /boot
tmpfs 392M 0 392M 0% /run/user/0
overlay 17G 2.3G 15G 14% /var/lib/docker/overlay2/17227d723167df664ca4e13fcf60dbe8578ba2269c1881a51a4636e1b42ddeaa/merged
[root@localhost ~]# docker inspect mf
。。。。。。
"Type": "bind",
"Source": "/mydata",
"Destination": "/data",
"Mode": "",
"RW": true,
"Propagation": "rprivate"
。。。。。。
//在/opt和容器mf的/data建立绑定关系
[root@localhost ~]# cd /mydata/
[root@localhost mydata]# ls
[root@localhost mydata]# echo 'hello world' > abc
[root@localhost mydata]# cat abc
hello world
//在容器里查看
[root@localhost ~]# docker run -it --name mf -v /mydata:/data busybox
/ # ls
bin data dev etc home proc root sys tmp usr var
~ # cd /data
/data # ls
abc
/data # cat abc
hello world
//删除容器,然后检查存储卷中的文件
[root@localhost ~]# docker rm -f mf
mf
[root@localhost ~]# cd /mydata
[root@localhost mydata]# ls
abc
[root@localhost mydata]# cat abc
hello world
上面的命令加载主机的/var/www/html
目录到容器的/webapp
目录:
这个功能在进行测试的时候非常方便,比如用户可以放置一些程序或数据到本地目录中,然后在容器内运行和使用。另外,本地目录的路径必须是绝对路径,如果目录不存在,Docker会自动创建。
Docker挂载数据卷的默认权限是读写(rw),用户也可以通过(ro)指定为只读:
[root@Raygussie ~]# docker run -d -P --name mf -v /mydata:/data:ro busybox
5a45abc62258d6571442f84b7db31bd239290d389224c802cd0b2b1084373be2
加了:ro以后,容器内挂载的数据卷的数据就无法修改了。
挂载一个本地主机文件作为数据卷
-v选项也可以从主机挂载单个文件到容器中作为数据卷:
[root@Raygussie ~]# docker run -it --rm -v ~/.bash_history:/.bash_history centos /bin/bash
[root@e3a909f48bb3 /]# exit
这样就可以记录在容器输入过的命令历史了。
如果直接挂载一个文件到容器,使用文件编辑工具,包括vi或者sed去修改文件内容的时候,可能会造成inode的改变,这样将会导致错误。所以推荐的方式是直接挂载文件所在的目录。
数据卷容器
如果用户需要在容器之间共享一些持续更新的数据,最简单的方式是使用数据卷容器。数据卷容器其实就是一个普通的容器,专门用它提供数据卷供其他容器挂载使用,方法如下:
首先,创建一个数据卷容器dbdata,并在其中创建一个数据卷挂载到/dbdata:
[root@Raygussie ~]# docker run -itd --rm -v /dbdata --name dbdata centos
d3a7db78a793b7036b9f4ae51493f1f10bcbb0ad706a2ebce44cc7c27456898d
[root@Raygussie ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d3a7db78a793 centos "/bin/bash" 15 seconds ago Up 9 seconds dbdata
[root@Raygussie ~]# docker exec -it dbdata /bin/bash
[root@d3a7db78a793 /]# ls
bin dev home lib64 media opt root sbin sys usr
dbdata etc lib lost+found mnt proc run srv tmp var
[root@d3a7db78a793 /]# exit
exit
然后可以在其他容器中使用--volumes-from来挂载dbdata容器中的数据卷,例如创建ww和ww1两个容器,并从dbdata容器挂载数据卷:
[root@Raygussie ~]# docker run -d --name ww --volumes-from dbdata centos 747e11a8107836934806b400a7f0be54c7825dc2e5b6cd9ba062966184fca7ee [root@Raygussie ~]# docker run -d --name ww1 --volumes-from dbdata centos dd2b93c04746a9a68caceee05c611898c4ea880edf77adf2830827648814097d [root@Raygussie ~]#
此时,容器ww和ww1都挂载同一个数据卷到相同的/dbdata目录。三个容器任何一方在该目录下的写入,其他容器都可以看到。
//进入dbdata容器里,编辑内容 [root@Raygussie ~]# docker exec -it dbdata /bin/bash [root@d3a7db78a793 /]# ls bin dev home lib64 media opt root sbin sys usr dbdata etc lib lost+found mnt proc run srv tmp var [root@d3a7db78a793 /]# cd /dbdata [root@d3a7db78a793 dbdata]# ls [root@d3a7db78a793 dbdata]# echo 'i am chinaes' > abc [root@d3a7db78a793 dbdata]# ls abc [root@d3a7db78a793 dbdata]# pwd /dbdata //进入ww容器查看 [root@Raygussie ~]# docker exec -it ww /bin/bash [root@6c1f40302216 /]# ls bin dev home lib64 media opt root sbin sys usr dbdata etc lib lost+found mnt proc run srv tmp var [root@6c1f40302216 /]# cd /dbdata [root@6c1f40302216 dbdata]# ls abc [root@6c1f40302216 dbdata]# cat abc i am chinaes //修改文件内容 [root@6c1f40302216 dbdata]# echo 'haha' > abc [root@6c1f40302216 dbdata]# cat abc haha //在dbdata容器冲查看 [root@Raygussie ~]# docker exec -it dbdata /bin/bash [root@d3a7db78a793 /]# ls bin dev home lib64 media opt root sbin sys usr dbdata etc lib lost+found mnt proc run srv tmp var [root@d3a7db78a793 /]# cd /dbdata [root@d3a7db78a793 dbdata]# ls [root@d3a7db78a793 dbdata]# echo 'i am chinaes' > abc [root@d3a7db78a793 dbdata]# ls abc [root@d3a7db78a793 dbdata]# pwd /dbdata [root@d3a7db78a793 dbdata]# ls abc [root@d3a7db78a793 dbdata]# cat abc haha //由此,三个容器在同一个数据里
可以多次使用--volumes-from参数来从多个容器挂载多个数据卷。还可以从其他已挂载了容器卷的容器来挂载数据卷:
[root@Raygussie ~]# docker run -it --rm --volumes-from ww centos [root@72abc7fdb8b6 /]# ls bin dev home lib64 media opt root sbin sys usr dbdata etc lib lost+found mnt proc run srv tmp var [root@72abc7fdb8b6 /]# cd /dbdata [root@72abc7fdb8b6 dbdata]# > abc [root@72abc7fdb8b6 dbdata]# cat abc [root@72abc7fdb8b6 dbdata]# //在ww容器里查看 root@Raygussie ~]# docker exec -it ww /bin/bash [root@6c1f40302216 /]# cd /dbdata/ [root@6c1f40302216 dbdata]# ls abc [root@6c1f40302216 dbdata]# cat abc
使用--volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。
如果删除了挂载的容器(包括dbdata、db1和db2),数据卷并不会被自动删除。如果要删除一个数据卷,必须在删除最后一个还挂载着它的容器时显式使用docker rm -v命令来指定同时删除关联的容器。
[root@Raygussie ~]# docker stop dbdata dbdata [root@Raygussie ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 72abc7fdb8b6 centos "/bin/bash" 5 minutes ago Up 5 minutes happy_carson 61ec840e7861 centos "/bin/bash" 19 minutes ago Up 19 minutes ww1 6c1f40302216 centos "/bin/bash" 19 minutes ago Up 19 minutes ww //在ww容器里可以编辑 [root@6c1f40302216 dbdata]# echo 'i am chinaes' > abc [root@6c1f40302216 dbdata]# cat abc i am chinaes //在随机生成容器里也可以编辑 [root@72abc7fdb8b6 dbdata]# ls abc abc [root@72abc7fdb8b6 dbdata]# cat abc i am chinaes
//退出随机生成容器,发现dbdata容器消失 [root@72abc7fdb8b6 dbdata]# exit exit [root@Raygussie ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 61ec840e7861 centos "/bin/bash" 24 minutes ago Up 24 minutes ww1 6c1f40302216 centos "/bin/bash" 24 minutes ago Up 24 minutes ww [root@Raygussie ~]# //在ww容器里文件还在,在ww1容器里的abc文件编辑 [root@Raygussie ~]# docker exec -it ww1 /bin/bash [root@61ec840e7861 /]# ls bin dev home lib64 media opt root sbin sys usr dbdata etc lib lost+found mnt proc run srv tmp var [root@61ec840e7861 /]# cd /dbdata/ [root@61ec840e7861 dbdata]# ls abc [root@61ec840e7861 dbdata]# cat abc i am chinaes [root@61ec840e7861 dbdata]# echo 'ljlj' > abc [root@61ec840e7861 dbdata]# cat abc ljlj //在ww容器里查看 [root@6c1f40302216 dbdata]# ls abc [root@6c1f40302216 dbdata]# cat abc i am chinaes [root@6c1f40302216 dbdata]# cat abc ljlj [root@6c1f40302216 dbdata]#
利用数据卷容器迁移数据
可以利用数据卷容器对其中的数据卷进行备份、恢复,以实现数据的迁移。
备份
使用下面的命令来备份dbdata数据卷容器内的数据卷:
[root@Raygussie ~]# docker run --volumes-from dabata -v $(pwd):/backup centos tar zcf /backup/backup.tar.gz /dbdata
这个命令稍微有点复杂,具体分析下。
首先利用centos镜像创建了一个容器worker。使用--volumes-from dbdata参数来让worker容器挂载dbdata容器的数据卷(即dbdata数据卷);使用-v $(pwd):/backup参数来挂载本地的当前目录到worker容器的/backup目录。
worker容器启动后,使用了tar cvf /backup/backup.tar /dbdata命令来将/dbdata下内容备份为容器内的/backup/backup.tar,即宿主主机当前目录下的backup.tar。
[root@Raygussie ~]# docker exec -it dabata /bin/bash [root@cf0be1d65851 /]# ls bin dev home lib64 media opt root sbin sys usr dbdata etc lib lost+found mnt proc run srv tmp var [root@cf0be1d65851 /]# cd /dbdata/ [root@cf0be1d65851 dbdata]# echo 'hello world' > adc [root@cf0be1d65851 dbdata]# ls adc [root@cf0be1d65851 dbdata]# dd if=/dev/zero of=test bs=1M count=10 10+0 records in 10+0 records out 10485760 bytes (10 MB, 10 MiB) copied, 0.0039907 s, 2.6 GB/s [root@cf0be1d65851 dbdata]# ls adc test [root@cf0be1d65851 dbdata]# du -sh * 4.0K adc 10M test [root@cf0be1d65851 dbdata]# [root@cf0be1d65851 dbdata]# exit //备份 [root@Raygussie ~]# docker run --volumes-from dabata -v $(pwd):/backup centos tar zcf /backup/backup.tar.gz /dbdata tar: Removing leading `/' from member names [root@Raygussie ~]# ls anaconda-ks.cfg backup.tar.gz [root@Raygussie ~]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 70945f927115 centos "tar zcf /backup/bac…" About a minute ago Exited (0) About a minute ago clever_mclean [root@Raygussie ~]# rm -rf backup.tar.gz [root@Raygussie ~]# ls anaconda-ks.cfg //再次启动 [root@Raygussie ~]# docker start 70945f927115 70945f927115 [root@Raygussie ~]# ls anaconda-ks.cfg backup.tar.gz [root@Raygussie ~]#
恢复
如果要恢复数据到一个容器,可以按照下面的操作。首先创建一个带有数据卷的容器
[root@Raygussie ~]# docker rm -f dabata dabata [root@Raygussie ~]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES [root@Raygussie ~]# ls anaconda-ks.cfg backup.tar.gz [root@Raygussie ~]# docker run -itd --name mf1 -v /dbdata centos 8a18029e0f5b714ab5d4e9339eaaff5f91c8db399d82452ddfe8e04a28da9dd2 [root@Raygussie ~]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 8a18029e0f5b centos "/bin/bash" 7 seconds ago Up 7 seconds mf1 [root@Raygussie ~]# docker exec -it mf1 /bin/bash //恢复 [root@Raygussie ~]# docker run --rm --volumes-from mf1 -v $(pwd):/backup centos tar xf /backup/backup.tar.gz [root@8a18029e0f5b dbdata]# ls adc test [root@8a18029e0f5b dbdata]# cat abc cat: abc: No such file or directory [root@8a18029e0f5b dbdata]# cat adc hello world [root@8a18029e0f5b dbdata]# cat test [root@8a18029e0f5b dbdata]# du -sh test 10M test [root@8a18029e0f5b dbdata]#