（转载）服务发现系统etcd介绍

• 服务发现系统etcd介绍

---

最近在折腾服务发现系统，在这之前折腾过一段时间CoreOS，那时候就接触etcd了，不过当时只是把etcd看做一个K/V存储系统来使用的，觉得和redis没什么区别，后来才知道etcd主要也是用于服务发现的。etcd 的灵感来自于 ZooKeeper 和 Doozer，侧重于：
简单：支持 curl 方式的用户 API (HTTP+JSON)
安全：可选 SSL 客户端证书认证
快速：单实例可达每秒 1000 次写操作
可靠：使用 Raft 实现分布式
etcd是用Go语言编写的，使用raft一致性算法来管理高可用日志。etcdctl是一个简单的命令行工具，使用起来就和curl一样。etcd已经托管在github上了，我们下载一个稳定版的(0.4.6)，不要下载0.5.0版本，0.5.0是基于开发版的，在折腾kubernetes的时候直接下载的0.5.0，可被坑惨了。部署环境还是三台ubuntu14.04机器，都是部署在/opt/etcd目录下
192.168.1.100  Docker-1  server
192.168.1.101  Docker-2  client
192.168.1.102  Docker-3  client
我们先在Docker-1上练练手，首先安装etcd，etcd用Go语言编写，安装时需要go环境，我这三台机器运行Docker，go环境都已经部署ok了，所以直接编译即可
cd /opt/etcd
./build
执行完上述命令后，会在源码目录发现生成了一个bin目录，里面有两个文件bench、etcd。先在我们来启动etcd
./bin/etcd



etcd启动后，会监听在4001端口，用来和client进行通讯，而监听的7001端口则是服务端和服务端之间进行通讯的端口。下面我们来设置一个key
#set
curl http://127.0.0.1:4001/v2/keys/guol -XPUT -d value='test etcd'
#get
curl http://127.0.0.1:4001/v2/keys/guol



操作起来很简单，现在我们已经启动了一个单节点的etcd服务，并且初步尝试了etcd的api，下面我们看看一些具体的内容。
etcd api
etcd的api系统是一个空间层次分明的系统，key space是由目录和密钥构成的。我们先启动一个etcd系统，并查看该etcd的版本
#start
./bin/etcd -data-dir /tmp/etcd/ -name Docker-1
#get version
curl  http://127.0.0.1:4001/version
在启动etcd时，多了两个参数，-data-dir指定etcd系统存储etcd配置、日志和快照的目录，-name该节点在集群中的名称。
接下来，我们设置第一对K/V，key=message1，value='hello world'
curl -s http://127.0.0.1:4001/v2/keys/message1 -XPUT -d value='hello world'



我们看看返回的对象都包含了哪些值：action，action反映当前请求的模式(get/set/delete)，因为当前的请求是通过HTTP的PUT方法修改节点的值，所以action是set。node对象中有四个元素：node.key，HTTP请求设置的key名称，etcd使用类似文件系统的结构来表示K/V对，所以所有的key前面都以'/'开头。node.value，设置的key的值。node.createdIndex，一个唯一的索引，在每次etcd变更时一个单调递增的整数，这个特性可以反映出etcd系统已经创建了多少个key，你可以看到索引的值是8，那是因为之前我已经插入了几对K/V值了，在etcd有变更后，也有一些内部命令在幕后做一些变更，例如增加或者同步servers。node.modifiedIndex，和node.createdIndex很像，该属性也是一个索引，set、delete、update、create、compareAndSwap、compareAndDelete等动作都会引起value值的改变，get、watch动作不会引起已经存储的值的改变，因此这两个特性不会改变node.modifiedIndex的值。
获取一个key的值，我们获取key(message1)的值
curl -s http://127.0.0.1:4001/v2/keys/message1

你也可以用HTTP的PUT方法改变一个key的值，我们改变message1的value为'hello etcd'
curl -s http://127.0.0.1:4001/v2/keys/message1 -XPUT -d value='hello etcd'



这次我们看到返回值中多了一个prevNode属性，prevNode属性根据名称一看就知道是返回的该key在改变前的值，prevNode的格式和node一样，你也会看到index都会递增。
我们也可以用HTTP的DELETE方法删除一个key，我们删除key(message1)
curl -s http://127.0.0.1:4001/v2/keys/message1 -XDELETE



这时候再查看message1的值会发现已经没有该key了

你也可以在etcd系统中给key设置一个过期时间，只需要在设置key时加上一个ttl参数即可
curl -s http://127.0.0.1:4001/v2/keys/message2 -XPUT -d value='hello etcd' -d ttl=5



看到设置的message2的生存期只有5s，过期后会自动删除。在node的输出中多了一个expiration属性，该属性提示多久后key会过期并被删除。ttl属性显示key的ttl值。后面多余的输出是使用以下命令测试的：
curl -s http://127.0.0.1:4001/v2/keys/message2 -XPUT -d value='hello etcd' -d ttl=5|jq .;echo 'sleep....';sleep 6;curl -s http://127.0.0.1:4001/v2/keys/message2 |jq .
我们也可以监视key的变更，在key有改变后，我们会收到相关通知。在调用HTTP请求时，提供wait=true参数，即可监控一个key。
#窗口1
curl -s http://127.0.0.1:4001/v2/keys/message2 -XPUT -d value='hello etcd 1'
curl -s http://127.0.0.1:4001/v2/keys/message2?wait=true
新开一个终端，执行以下命令
curl -s http://127.0.0.1:4001/v2/keys/message2 -XPUT -d value='hello etcd 2'
再看看窗口1有什么变化


自动的创建顺序key，在一个目录中使用POST方法，你可以创建一些key，使key的名字看起来是顺序的，执行以下测试命令：
curl -s http://127.0.0.1:4001/v2/keys/message3 -XPOST -d value='hello etcd 1'
curl -s http://127.0.0.1:4001/v2/keys/message4 -XPUT -d value='hello etcd 1'
curl -s http://127.0.0.1:4001/v2/keys/message5 -XPUT -d value='hello etcd 1'
curl -s http://127.0.0.1:4001/v2/keys/message3 -XPOST -d value='hello etcd 2' | jq .



可以看到我们已经针对message3这个key使用了POST方法，在插入两个新key之后，再次更新message3的value，发现messages3在etcd中的key已经变了(key/index)，下面我们看看message3这个key中到底存储什么信息，为了使输出的key是顺序的，我们加了sorted参数
curl -s 'http://127.0.0.1:4001/v2/keys/message3?recursive=true&sorted=true'

可以看到存有message3的历史值记录，在某些情况下，需要自动创建key的目录，但在某些情况下，你希望创建或者删除一个目录。创建一个目录就像创建key一样简单，但是你不能提供一个value，而是要增加一个参数dir=true
curl -s http://127.0.0.1:4001/v2/keys/message7 -XPUT -d dir=true



看到没有value属性，而是多了一个dir属性。有创建目录的需求，就有删除目录的需求，我们现在删除刚刚创建的message7目录，和删除key的方法一样，也是使用HTTP的DELETE方法，只不过要再添加一个dir=true参数
curl -s 'http://127.0.0.1:4001/v2/keys/message7?dir=true' -XDELETE



如果director里面已经包含keys了，则必须增加recursive=true参数
curl -s 'http://127.0.0.1:4001/v2/keys/message7?recursive=true' -XDELETE
在etcd系统中，我们可以存储两种类型的东西：keys和directors。keys存储的是单个字符值，directors存储的是一组keys或者存储其他directors。下面我们创建一个key(message_key)，在创建该key之前，我们先看看etcd系统已经存在哪些key了，要查看整个系统的key，只要增加recursive=true参数即可。
curl -s http://127.0.0.1:4001/v2/keys/?recursive=true



因为我已经清空etcd系统了，现在创建key：message_key
curl -s http://127.0.0.1:4001/v2/keys/message_key -XPUT -d value='this is a key'



创建directory：message_directory
curl -s http://127.0.0.1:4001/v2/keys/message_directory -XPUT -d dir=true



现在我们看看整个etcd系统中有多少key
curl -s http://127.0.0.1:4001/v2/keys/?recursive=true



可以看到整个etcd中只有一个key和一个directory，现在我们在message_directory目录下面创建一个key(message_key)
curl -s http://127.0.0.1:4001/v2/keys/message_directory/message_key -XPUT -d value='this is a key in directory'



我们现在看看etcd系统都有哪些key了
curl -s http://127.0.0.1:4001/v2/keys/?recursive=true

可以看到整个etcd中有一个key和一个directory，而directory中又包含了一个key。
如何创建一个隐藏的节点(隐藏key/隐藏directory)，我们创建一个隐藏key时使用'_'作为key的前缀即可，当你发送HTTP GET请求时，隐藏key并不会被显示出来
curl -s http://127.0.0.1:4001/v2/keys/_message -XPUT -d value='a hidden key'



etcd系统中也可以存储一些小的配置文件、json文档、xml文档等等。
curl -s http://127.0.0.1:4001/v2/keys/file -XPUT --data-urlencode value@upfile



etcd会跟踪一些集群使用的统计信息，比如带宽、启动时间之类的。
Leader Statistics：leader有查看整个etcd集群视图的能力，而且会跟踪两个有趣的统计信息：到集群中同等机器的延迟和rafr rpc请求失败和成功的数量。
curl -s http://127.0.0.1:4001/v2/stats/leader



Self Statistics：每个节点内部的统计信息
curl -s http://127.0.0.1:4001/v2/stats/self



Store Statistics：存储统计信息包含了在该节点上的所有操作信息
curl -s http://127.0.0.1:4001/v2/stats/store

如何查询集群的配置
curl -s http://192.168.1.100:7001/v2/admin/config



看看整个集群中有多少成员
curl -s http://192.168.1.100:7001/v2/admin/machines



在集群中删除Docker-2节点
curl -s http://192.168.1.100:7001/v2/admin/machines/Docker-2 -XDELETE
再次查看整个集群的成员

---

etcd节点的配置文件可以有三种设置方法：命令行、环境变量、配置文件，命令行优先级最高，环境变量的又高于配置文件。

下面我们看看etcd的命令都支持哪些命令行参数：
Options:
  --version         显示版本号
  -f -force         强制使用新的配置文件
  -config=<path>    指定配置文件的路径
  -name=<name>      该节点在etcd集群中显示的名称
  -data-dir=<path>  etcd数据的存储路径
  -cors=<origins>   Comma-separated list of CORS origins.
  -v                开启verbose logging.
  -vv               开启very verbose logging.

Cluster Configuration Options:
  -discovery=<url>                Discovery service used to find a peer list.
  -peers-file=<path>              包含节点信息的文件列表
  -peers=<host:port>,<host:port>  逗号分割的节点列表，这些节点应该匹配节点的-peer-addr标记指定的信息

Client Communication Options:
  -addr=<host:port>         客户端进行通讯的公共地址端口
  -bind-addr=<host[:port]>  监听的地址端口，用来进行客户端通讯
  -ca-file=<path>           客户端CA文件路径
  -cert-file=<path>         客户端cert文件路径
  -key-file=<path>          客户端key文件路径

Peer Communication Options:
  -peer-addr=<host:port>  节点间进行通讯的地址端口
  -peer-bind-addr=<host[:port]>  监听的地址端口，节点间来进行通讯
  -peer-ca-file=<path>    节点CA文件路径
  -peer-cert-file=<path>  节点cert文件路径
  -peer-key-file=<path>   节点key文件路径
  -peer-heartbeat-interval=<time> 心跳检测的时间间隔，单位是毫秒
  -peer-election-timeout=<time> 节点选举的超时时间，单位是毫秒

Other Options:
  -max-result-buffer   结果缓冲区的最大值
  -max-retry-attempts  节点尝试重新加入集群的次数
  -retry-interval      Seconds to wait between cluster join retry attempts.
  -snapshot=false      禁止log快照
  -snapshot-count      发布快照前执行的事物次数
  -cluster-active-size 集群中的活跃节点数
  -cluster-remove-delay 多少秒之后再删除集群中的节点
  -cluster-sync-interval 在备模式下，两次同步之间的时间差
配置文件方式，etcd默认从/etc/etcd/etcd.conf读取配置
addr = "127.0.0.1:4001"
bind_addr = "127.0.0.1:4001"
ca_file = ""
cert_file = ""
cors = []
cpu_profile_file = ""
data_dir = "."
discovery = "http://etcd.local:4001/v2/keys/_etcd/registry/examplecluster"
http_read_timeout = 10.0
http_write_timeout = 10.0
key_file = ""
peers = []
peers_file = ""
max_cluster_size = 9
max_result_buffer = 1024
max_retry_attempts = 3
name = "default-name"
snapshot = true
verbose = false
very_verbose = false

[peer]
addr = "127.0.0.1:7001"
bind_addr = "127.0.0.1:7001"
ca_file = ""
cert_file = ""
key_file = ""

[cluster]
active_size = 9
remove_delay = 1800.0
sync_interval = 5.0

---