【etcd】学习笔记

---

阅读目录

一、etcd简介

二、应用场景

三、etcd架构

四、etcd集群部署

五、Go语言操作etcd

一、etcd简介

A distributed, reliable key-value store for the most critical data of a distributed system

etcd采用Go编写，是一个高度一致的分布式键值存储系统，它提供了一种可靠的方式来存储需要由分布式系统或机器集群访问的数据。它可以在网络分区期间正常处理Leader选举，即使在Leader节点中也可以容忍机器故障。

特性

• 简单：支持使用标准的HTTP工具（例如curl）读取和写入值
• 键值对存储：将数据存储在分层组织的目录中，例如在标准文件系统中
• 监视变更：监视特定的键或目录以进行更改，并对值的更改做出反应
• 安全：可选的SSL客户端证书认证，可选的TTL用于密钥过期
• 快速：每个实例1000次/秒写入的基准速度
• 可靠：使用Raft算法实现了强一致、高可用的服务存储目录

二、应用场景

服务发现

服务发现要解决的也是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务，要如何才能找到对方并建立连接。本质上来说，服务发现就是想要了解集群中是否有进程在监听 udp 或 tcp端口，并且通过名字就可以查找和连接。

配置共享中心

数据提供者在这个配置中心发布消息，而消息使用者则订阅他们关心的主题，一旦主题有消息发布，就会实时通知订阅者。通过这种方式可以做到分布式系统配置的集中式管理与动态更新

将一些配置信息放到 etcd 上进行集中管理。这类场景的使用方式通常是这样：应用在启动的时候主动从 etcd 获取一次配置信息，同时，在 etcd 节点上注册一个 Watcher 并等待，以后每次配置有更新的时候，etcd 都会实时通知订阅者，以此达到获取最新配置信息的目的。

分布式搜索服务中，索引的元信息和服务器集群机器的节点状态存放在etcd中，供各个客户端订阅使用。使用etcd的key TTL功能可以确保机器状态是实时更新的。

分布式日志收集系统。这个系统的核心工作是收集分布在不同机器的日志。收集器通常是按照应用（或主题）来分配收集任务单元，因此可以在etcd上创建一个以应用（主题）命名的目录P，并将这个应用（主题相关）的所有机器ip，以子目录的形式存储到目录P上，然后设置一个 etcd 递归的Watcher，递归式的监控应用（主题）目录下所有信息的变动。这样就实现了机器IP（消息）变动的时候，能够实时通知到收集器调整任务分配。

分布式锁

因为 etcd 使用 Raft 算法保持了数据的强一致性，某次操作存储到集群中的值必然是全局一致的，所以很容易实现分布式锁。锁服务有两种使用方式，一是保持独占，二是控制时序。

• 保持独占即所有获取锁的用户最终只有一个可以得到。etcd 为此提供了一套实现分布式锁原子操作 CAS（ CompareAndSwap ）的 API。通过设置 prevExist 值，可以保证在多个节点同时去创建某个目录时，只有一个成功。而创建成功的用户就可以认为是获得了锁。
• 控制时序，即所有想要获得锁的用户都会被安排执行，但是获得锁的顺序也是全局唯一的，同时决定了执行顺序。etcd 为此也提供了一套 API（自动创建有序键），对一个目录建值时指定为 POST动作，这样 etcd 会自动在目录下生成一个当前最大的值为键，存储这个新的值（客户端编号）。同时还可以使用 API 按顺序列出所有当前目录下的键值。此时这些键的值就是客户端的时序，而这些键中存储的值可以是代表客户端的编号。

三、etcd架构

从 etcd 的架构图中我们可以看到，etcd 主要分为四个部分。

• HTTP Server： 用于处理用户发送的 API 请求以及其它 etcd 节点的同步与心跳信息请求。
• Store：用于处理 etcd 支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是 etcd 对用户提供的大多数 API 功能的具体实现。
• Raft：Raft 强一致性算法的具体实现，是 etcd 的核心。
• WAL：Write Ahead Log（预写式日志），是 etcd 的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外，etcd 就通过 WAL 进行持久化存储。WAL 中，所有的数据提交前都会事先记录日志。Snapshot 是为了防止数据过多而进行的状态快照；Entry 表示存储的具体日志内容。

四、etcd集群

etcd 作为一个高可用键值存储系统，天生就是为集群化而设计的。由于 Raft 算法在做决策时需要多数节点的投票，所以 etcd 一般部署集群推荐奇数个节点，推荐的数量为 3、5 或者 7 个节点构成一个集群。

搭建一个3节点集群示例：

在每个etcd节点指定集群成员，为了区分不同的集群最好同时配置一个独一无二的token。
下面是提前定义好的集群信息，其中 n1 、 n2 和 n3 表示3个不同的etcd节点。

TOKEN=token-01
CLUSTER_STATE=new
CLUSTER=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0
.19:2380

在 n1 这台机器上执行以下命令来启动etcd：

etcd --data-dir=data.etcd --name n1 
--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls
http://10.240.0.17:2380 
--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls
http://10.240.0.17:2379 
--initial-cluster ${CLUSTER} 
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在 n2 这台机器上执行以下命令启动etcd：

etcd --data-dir=data.etcd --name n2 
--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls
http://10.240.0.18:2380 
--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls
http://10.240.0.18:2379 
--initial-cluster ${CLUSTER} 
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在 n3 这台机器上执行以下命令启动etcd：

etcd --data-dir=data.etcd --name n3 
--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls
http://10.240.0.19:2380 
--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls
http://10.240.0.19:2379 
--initial-cluster ${CLUSTER} 
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

etcd 官网提供了一个可以公网访问的 etcd 存储地址。你可以通过如下命令得到 etcd 服务的目录，并把它作为 -discovery 参数使用。

curl https://discovery.etcd.io/new?size=3
https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
# grab this token
TOKEN=token-01
CLUSTER_STATE=new
DISCOVERY=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
etcd --data-dir=data.etcd --name n1 
--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls
http://10.240.0.17:2380 
--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls
http://10.240.0.17:2379 
--discovery ${DISCOVERY} 
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
etcd --data-dir=data.etcd --name n2 
--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls
http://10.240.0.18:2380 
--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls
http://10.240.0.18:2379 
--discovery ${DISCOVERY} 

到此etcd集群就搭建起来了，可以使用 etcdctl 来连接etcd。

export ETCDCTL_API=3
HOST_1=10.240.0.17
HOST_2=10.240.0.18
HOST_3=10.240.0.19
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379
etcdctl --endpoints=$ENDPOINTS member list

五、Go语言操作etcd

这里使用官方的etcd/clientv3包来连接etcd并进行相关操作。

安装

go get go.etcd.io/etcd/clientv3

put和get操作

put 命令用来设置键值对数据， get 命令用来根据key获取值。

package main
import (
	"context"
	"fmt"
	"time"
	"go.etcd.io/etcd/clientv3"
)
// etcd client put/get demo
// use etcd/clientv3
func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints: []string{"127.0.0.1:2379"},
		DialTimeout: 5 * time.Second,
	})
	//watch操作
	//watch 用来获取未来更改的通知。
	if err != nil {
		// handle error!
		fmt.Printf("connect to etcd failed, err:%v
", err)
		return
	}
	fmt.Println("connect to etcd success")
	defer cli.Close()
	
	var key = "TestKey"
	
	// put
	ctx, cancel := context.WithTimeout(context.Background(), time.Second)
	_, err = cli.Put(ctx, key, "test")
	cancel()
	if err != nil {
		fmt.Printf("put to etcd failed, err:%v
", err)
		return
	}
	// get
	ctx, cancel = context.WithTimeout(context.Background(), time.Second)
	resp, err := cli.Get(ctx, key)
	cancel()
	if err != nil {
		fmt.Printf("get from etcd failed, err:%v
", err)
		return
	}
	for _, ev := range resp.Kvs {
		fmt.Printf("%s:%s
", ev.Key, ev.Value)
	}
}

watch操作

watch 用来获取未来更改的通知

package main
import (
	"context"
	"fmt"
	"time"
	"go.etcd.io/etcd/clientv3"
)
// watch demo
func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints: []string{"127.0.0.1:2379"},
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		fmt.Printf("connect to etcd failed, err:%v
", err)
		return
	}
	fmt.Println("connect to etcd success")
	defer cli.Close()
	
	var key = "TestKey"
	
	// watch key change
	rch := cli.Watch(context.Background(), key) // <-chan WatchResponse
	for wresp := range rch {
		for _, ev := range wresp.Events {
			fmt.Printf("Type: %s Key:%s Value:%s
", ev.Type, ev.Kv.Key,
				ev.Kv.Value)
		}
	}
}

将上面的代码保存编译执行，此时程序就会等待etcd中key的变化。
例如：我们打开终端执行以下命令修改、删除、设置 q1mi 这个key。

etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put key1 "123"
OK
etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 del key1
1
etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put key1 "1234"

上面的程序都能收到如下通知

watch>watch.exe
connect to etcd success
Type: PUT Key:key1 Value:123
Type: DELETE Key:key1 Value:
Type: PUT Key:key1 Value:1234

其他操作

其他操作请查看etcd/clientv3官方文档。

参考链接：

https://etcd.io/blog/
https://juejin.cn/post/6865482404115693575
https://www.liwenzhou.com/posts/Go/go_etcd/