1. Velero 简介
Velero 是 heptio 团队（被 VMWare 收购）开源的 Kubernetes 集群备份、迁移工具。
Velero 使用对象存储保存集群资源。默认支持的对象存储有 AWS、Azure、GCP ，兼容 S3 协议，也可以通过插件来扩展到其他平台，比如 Aliyun OSS。
目前，Velero 不具备版本管理功能，只能进行增量恢复，不会进行删除或覆盖操作。
2. Velero 工作原理
Velero 首先会在集群中创建各种 CRD 以及相关的控制器，通过对 CRD 对象的操作完成备份、恢复行为。Velero 的工作原理图如下：
- Velero 客户端调用 Kubernetes API 服务器创建 Backup 对象。
- BackupController 监听 Backup 对象变化，以执行备份过程。
- 备份时，BackupController 通过 API Server 查询相关数据。
- 备份后，BackupController 将数据上传到对象存储。
运维拓扑图如下：
在所有集群上安装 Velero，运维人员通过 Velero Client 给 Velero Server 发送备份、恢复请求。Velero Server 推拉指定的 Kubernetes 对象的数据。这些数据以 Json 格式压缩存储在对象存储服务中。
下图是备份数据的目录结构：
3. 安装 Velero
3.1 下载文件
二进制文件下载地址：Github。
这里以 CentOS 操作系统、Velero 1.6.0 为例：
下载二进制文件，然后复制到 /user/local/bin 目录下。
1、下载压缩包并解压
wget https://github.com/vmware-tanzu/velero/releases/download/v1.6.0/velero-v1.6.0-linux-amd64.tar.gz tar -zxvf velero-v1.6.0-linux-amd64.tar.gz && cd velero-v1.6.0-linux-amd64/
2、查看目录结构
[root@m-master126 velero-v1.6.0-linux-amd64]# tree . ├── examples │ ├── minio │ │ └── 00-minio-deployment.yaml │ ├── nginx-app │ │ ├── base.yaml │ │ ├── README.md │ │ └── with-pv.yaml │ └── README.md ├── LICENSE └── velero 3 directories, 7 files
3.2 配置对象存储服务
考虑到可能没有直接可用的对象存储服务，本文使用 Velero 提供的 minio 搭建一个对象存储服务。如果是公有云服务，这里部署 minio 的步骤可以省略，只需要创建 credentials-velero 文件。
1、创建 minio 服务
- 设置为 NodePort 类型
sed -i "/type: /s#ClusterIP#NodePort#" examples/minio/00-minio-deployment.yaml
- 创建 minio 服务
kubectl apply -f examples/minio/00-minio-deployment.yaml
- 查看 service 访问端口
[root@m-master126 velero-v1.6.0-linux-amd64]# kubectl get svc -n velero NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE minio NodePort 10.233.11.92 <none> 9000:32304/TCP 60s
这里的 {minio_service_ip}:32304 服务将被用于存储 Velero 的备份数据。
访问的话：直接浏览器输入 http://{NodeIP:32304} 默认账户信息： minio/minio123
2、创建 minio 的访问密钥文件 credentials-velero
cat <<'EOF' > credentials-velero [default] aws_access_key_id = minio aws_secret_access_key = minio123 EOF
ls查看下创建的访问密钥文件
[root@m-master126 velero-v1.6.0-linux-amd64]# ls credentials-velero examples LICENSE velero
3.3 安装 Velero 客户端
拷贝可执行文件 velero
cp velero /usr/local/bin/
3.4 安装 Velero 服务端
执行安装命令
velero install
--plugins harbor.openserver.cn:443/library/velero/velero-plugin-for-aws:v1.0.0
--provider aws
--bucket velero
--namespace velero
--secret-file ./credentials-velero
--velero-pod-cpu-request 200m
--velero-pod-mem-request 200Mi
--velero-pod-cpu-limit 1000m
--velero-pod-mem-limit 1000Mi
--use-volume-snapshots=false
--use-restic
--restic-pod-cpu-request 200m
--restic-pod-mem-request 200Mi
--restic-pod-cpu-limit 1000m
--restic-pod-mem-limit 1000Mi
--backup-location-config region=minio,s3ForcePathStyle="true",s3Url=http://{NodeIp}:32304
值得注意的是use-restic 开启了 PV 备份的支持。执行安装命令，会有回显日志。下面继续查看新创建的相关资源:
[root@m-master126 velero-v1.6.0-linux-amd64]# kubectl get crd|grep velero backups.velero.io 2021-05-31T12:54:19Z backupstoragelocations.velero.io 2021-05-31T12:54:19Z deletebackuprequests.velero.io 2021-05-31T12:54:19Z downloadrequests.velero.io 2021-05-31T12:54:19Z podvolumebackups.velero.io 2021-05-31T12:54:19Z podvolumerestores.velero.io 2021-05-31T12:54:19Z resticrepositories.velero.io 2021-05-31T12:54:19Z restores.velero.io 2021-05-31T12:54:19Z schedules.velero.io 2021-05-31T12:54:19Z serverstatusrequests.velero.io 2021-05-31T12:54:19Z volumesnapshotlocations.velero.io 2021-05-31T12:54:19Z
[root@m-master126 velero-v1.6.0-linux-amd64]# kubectl get all -n velero NAME READY STATUS RESTARTS AGE pod/minio-7b4ff54f67-kx259 1/1 Running 0 14h pod/minio-setup-mx8d5 0/1 Completed 0 14h pod/restic-c6hkt 1/1 Running 0 14h pod/restic-gfkwq 1/1 Running 0 14h pod/restic-j5bjr 1/1 Running 0 14h pod/restic-zrkzn 1/1 Running 0 14h pod/velero-df6dcd97-6qjj4 1/1 Running 0 14h NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/minio NodePort 10.233.11.92 <none> 9000:32304/TCP 14h NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE daemonset.apps/restic 4 4 4 4 4 <none> 14h NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/minio 1/1 1 1 14h deployment.apps/velero 1/1 1 1 14h NAME DESIRED CURRENT READY AGE replicaset.apps/minio-7b4ff54f67 1 1 1 14h replicaset.apps/velero-df6dcd97 1 1 1 14h NAME COMPLETIONS DURATION AGE job.batch/minio-setup 1/1 3s 14h
可以看到相关服务已经正常运行，Job 任务正常完成退出，大量 CRD 被创建。
3.5 卸载 Velero 服务端
kubectl delete namespace/velero clusterrolebinding/velero kubectl delete crds -l component=velero
参考：
https://blog.csdn.net/weixin_47003048/article/details/114006959
https://www.chenshaowen.com/blog/backup-kubernetes-cluster-using-velero.html