Confd+etcd实现高可用自动发现

Confd是一个轻量级的配置管理工具。通过查询Etcd，结合配置模板引擎，保持本地配置最新，同时具备定期探测机制，配置变更自动reload。其后端支持的数据类型有：etcd、consul、vault、environment variables、redis、zookeeper、dynamodb、stackengine、rancher。不过一般使用Confd和etcd的配合使用比较多。其常用架构如下：

一、简单配置

1、配置etcd数据

具体步骤这里略过，这里只配置两条数据

1. etcdctl set /myapp/database/url www.361way.com
2. etcdctl set /myapp/database/user rob

2、confd安装

confd比较简单就一个文件，拿过来就可以执行，可以从github上下载：https://github.com/kelseyhightower/confd/releases ，并将其放到/usr/local/bin目录下即可。不过使用前需要创建相应的配置目录：

1. [root@etcd1 bin]# mkdir -p /etc/confd/{conf.d,templates}

3、创建confd配置文件

1. # vim /etc/confd/conf.d/myconfig.toml
2. [template]
3. src = "myconfig.conf.tmpl"
4. dest = "/tmp/myconfig.conf"
5. keys = [
6. "/myapp/database/url",
7. "/myapp/database/user",
8. ]

4、创建模板文件

1. # vim /etc/confd/templates/myconfig.conf.tmpl
2. [myconfig]
3. database_url = {{getv "/myapp/database/url"}}
4. database_user = {{getv "/myapp/database/user"}}

5、执行生成配置文件

1. confd -onetime -backend etcd -node http://127.0.0.1:2379 只一次
2. confd -interval=60 -backend etcd -node http://127.0.0.1:2379 & 按时间轮询

使用onetime参数的，配置文件生成一次后，confd程序就退出了，下面的那句，会每隔60秒轮询一次。一旦后端etcd相应的值发生变化就会重新生成相应的配置文件。

6、验证文件生成

1. [root@etcd1 tmp]# cat /tmp/myconfig.conf
2. [myconfig]
3. database_url = www.361way.com
4. database_user = rob

二、etcd+confd+nginx配置

1、创建数据

1. etcdctl set /myapp/subdomain myapp
2. etcdctl set /myapp/upstream/app2 "10.0.1.100:80"
3. etcdctl set /myapp/upstream/app1 "10.0.1.101:80"
4. etcdctl set /yourapp/subdomain yourapp
5. etcdctl set /yourapp/upstream/app2 "10.0.1.102:80"
6. etcdctl set /yourapp/upstream/app1 "10.0.1.103:80"

2、创建配置文件

1. # cat /etc/confd/conf.d/myapp-nginx.toml
2. [template]
3. prefix = "/myapp"
4. src = "nginx.tmpl"
5. dest = "/tmp/myapp.conf"
6. owner = "nginx"
7. mode = "0644"
8. keys = [
9. "/subdomain",
10. "/upstream",
11. ]
12. check_cmd = "/usr/sbin/nginx -t -c {{.src}}"
13. reload_cmd = "/usr/sbin/service nginx reload"
14. # cat /etc/confd/conf.d/yourapp-nginx.toml
15. [template]
16. prefix = "/yourapp"
17. src = "nginx.tmpl"
18. dest = "/tmp/yourapp.conf"
19. owner = "nginx"
20. mode = "0644"
21. keys = [
22. "/subdomain",
23. "/upstream",
24. ]
25. check_cmd = "/usr/sbin/nginx -t -c {{.src}}"
26. reload_cmd = "/usr/sbin/service nginx reload"

这里创建了两个配置文件。接下来创建一个模板文件，两个配置文件会根据该模板文件生成配置：

1. # cat /etc/confd/templates/nginx.tmpl
2. upstream {{getv "/subdomain"}} {
3. {{range getvs "/upstream/*"}}
4. server {{.}};
5. {{end}}
6. }
7. server {
8. server_name {{getv "/subdomain"}}.example.com;
9. location / {
10. proxy_pass http://{{getv "/subdomain"}};
11. proxy_redirect off;
12. proxy_set_header Host $host;
13. proxy_set_header X-Real-IP $remote_addr;
14. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
15. }
16. }

3、验证

在进行验证启用的时候，会发现有如下报错：

1. [root@etcd1 conf.d]# 2017-05-08T19:06:07+08:00 etcd1 confd[10949]: INFO Target config /tmp/myapp.conf out of sync
2. 2017-05-08T19:06:07+08:00 etcd1 confd[10949]: ERROR "nginx: [emerg] "upstream" directive is not allowed here in /tmp/.myapp.conf835093196:1 nginx: configuration file /tmp/.myapp.conf835093196 test failed "
3. 2017-05-08T19:06:07+08:00 etcd1 confd[10949]: ERROR Config check failed: exit status 1
4. 2017-05-08T19:06:07+08:00 etcd1 confd[10949]: INFO Target config /tmp/yourapp.conf out of sync
5. 2017-05-08T19:06:07+08:00 etcd1 confd[10949]: ERROR "nginx: [emerg] "upstream" directive is not allowed here in /tmp/.yourapp.conf196880350:1 nginx: configuration file /tmp/.yourapp.conf196880350 test failed "
6. 2017-05-08T19:06:07+08:00 etcd1 confd[10949]: ERROR Config check failed: exit status 1

原因很简单，注意配置文件中的check_cmd 命令，该命令会进行配置文件检测，检测不通过时，配置文件不会修改，且不会执行后面的reload_cmd命令。这里想不报错也很简单，将配置文件中nginx的配置指向正确的位置，而且让nginx可以正常检测，且检测结果没有错误。再次执行命令，并修改配置文件，会发现有如下信息：

1. # cat myapp.conf
2. upstream myapp {
3. server 10.0.1.100:80;
4. server 10.0.1.101:80;
5. }
6. server {
7. server_name myapp.example.com;
8. location / {
9. proxy_pass http://myapp;
10. proxy_redirect off;
11. proxy_set_header Host $host;
12. proxy_set_header X-Real-IP $remote_addr;
13. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
14. }
15. }

三、其他

在模板文件中，会用到一些函数：map、base、exists、get、gets、getenv、datetime等 ，关于这些函数的使用，可以参看官方文档templates 。

etcd+confd 基本上可以和任何应用进行组合，如网上比较常见的etcd+confd+nginx 、etcd+confd+haproxy 、etcd+confd+k8s、etcd+confd+tomcat等等。和tomcat的整合，在官方上也有相应的示例，具体可以参看官方文档tomcat-sample 。

　　1）清空etcd ：etcdctl rm --recursive  registry  （registry为自己set的名称）

       2）备份与恢复

       　　2.1）对于 API 2 备份与恢复方法官方 v2 admin guide

etcd的数据默认会存放在我们的命令工作目录中，我们发现数据所在的目录，会被分为两个文件夹中：

• snap: 存放快照数据,etcd防止WAL文件过多而设置的快照，存储etcd数据状态。

• wal: 存放预写式日志,最大的作用是记录了整个数据变化的全部历程。在etcd中，所有数据的修改在提交前，都要先写入到WAL中。

# etcdctl backup --data-dir /home/etcd/ --backup-dir /home/etcd_backup

# etcd -data-dir=/home/etcd_backup/  -force-new-cluster

恢复时会覆盖 snapshot 的元数据(member ID 和 cluster ID)，所以需要启动一个新的集群。

　　　　2.2）对于 API 3 备份与恢复方法官方 v3 admin guide

在使用 API 3 时需要使用环境变量 ETCDCTL_API 明确指定。

在命令行设置：

# export ETCDCTL_API=3

备份数据：

# etcdctl --endpoints localhost:2379 snapshot save snapshot.db

恢复：

# etcdctl snapshot restore snapshot.db --name m3 --data-dir=/home/etcd_data

恢复后的文件需要修改权限为 etcd:etcd
--name:重新指定一个数据目录，可以不指定，默认为 default.etcd
--data-dir：指定数据目录
建议使用时不指定 name 但指定 data-dir，并将 data-dir 对应于 etcd 服务中配置的 data-dir

etcd 集群都是至少 3 台机器，官方也说明了集群容错为 (N-1)/2，所以备份数据一般都是用不到，但是鉴上次 gitlab 出现的问题，对于备份数据也要非常重视。