在Linux上部署etcd集群

前言

1.1 etcd简介

etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。

etcd作为服务发现系统，有以下的特点：

• 简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单
• 安全：支持SSL证书验证
• 快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操作
• 可靠：采用raft算法，实现分布式系统数据的可用性和一致性

1.2 安装环境

本实验需要两台服务器，如下表所示。

	操作系统	内存	CPU	IP地址	主机名
服务器1	Centos 7.5	32G	双核四线程CPU * 2	10.40.239.234	node234
服务器2	Centos 7.5	32G	双核四线程CPU * 2	10.40.239.235	node235

2 操作流程

2.1 对服务器校时

这里我们使用国家授时中心NTP(Network Time Protocol)服务对两台服务器校时：

ntpdate ntp.ntsc.ac.cn

2.2 安装etcd

在两台服务器上执行下面的命令，安装etcd：

yum -y install etcd

 

执行下面的命令，查看etcd：

yum list installed |grep -i etcd

如果出现如下结果，表示安装成功：

etcd.x86_64                 3.3.11-2.el7.centos            @extras

2.3 配置etcd

2.3.1 node234 上的配置

    1. 备份原先的etcd配置文件。

cp /etc/etcd/etcd.conf /etc/etcd/etcd.conf.bak

 

2．编辑配置文件：

vi /etc/etcd/etcd.conf

配置如下内容：

ETCD_DATA_DIR="/var/lib/etcd/node234.etcd"

ETCD_LISTEN_PEER_URLS="http://10.40.239.234:2380"

ETCD_LISTEN_CLIENT_URLS="http://10.40.239.234:2379,http://localhost:2379"

ETCD_NAME="node234"

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.40.239.234:2380"

ETCD_ADVERTISE_CLIENT_URLS="http://10.40.239.234:2379"

ETCD_INITIAL_CLUSTER="node234=http://10.40.239.234:2380, node235=http://10.40.239.235:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

 

这里解释一下这些参数的含义：

ETCD_DATA_DIR：数据存储目录。由etcd自动创建。

ETCD_LISTEN_PEER_URLS：监听在对等节点流量上的URL列表，该参数告诉etcd在指定的 “协议://IP:端口”组合上接收来自其对等方的传入请求。协议可以是http或者https。或者，使用unix://<file-path>或者unixs://<file-path>到unix sockets。如果将0.0.0.0作为IP，etcd将监听在所有的接口上的给定端口。如果给定了IP和端口，etcd将监听指定的接口和端口。可以使用多个URL指定要监听的地址和端口的数量。 etcd将响应来自任何列出的地址和端口的请求。

 

ETCD_LISTEN_CLIENT_URLS：监听在客户端流量上的URL列表，该参数告诉etcd在指定的“协议://IP:端口”组合上接受来自客户端的传入请求。协议可以是http或者https。或者，使用unix://<file-path>或者unixs://<file-path>到unix sockets。如果将0.0.0.0作为IP，etcd将监听在所有的接口上的给定端口。如果给定了Ip和端口，etcd将监听指定的接口和端口。可以使用多个URL指定要监听的地址和端口的数量。 etcd将响应来自任何列出的地址和端口的请求。

 

ETCD_NAME：此成员的名字。

 

ETCD_INITIAL_ADVERTISE_PEER_URLS：此成员对等URL的列表，用来通知到集群的其余部分。 这些地址用于在集群周围传送etcd数据。 所有集群成员必须至少有一个路由。 这些URL可以包含域名。

 

ETCD_ADVERTISE_CLIENT_URLS：此成员的客户端URL的列表，这些URL广播给集群的其余部分。 这些URL可以包含域名。

 

ETCD_INITIAL_CLUSTER：启动集群的初始化配置。配置集群的成员。

 

ETCD_INITIAL_CLUSTER_TOKEN：引导期间etcd群集的初始集群令牌。

 

ETCD_INITIAL_CLUSTER_STATE：初始群集状态（“新”或“现有”）。 对于在初始静态或DNS引导过程中存在的所有成员，将其设置为new。 如果此选项设置为existing，则etcd将尝试加入现存集群。 如果设置了错误的值，etcd将尝试启动，但会安全地失败。

 

更多信息，可以参照etcd官方文档。

2.3.1 node235 上的配置

1. 备份原先的etcd配置文件。

cp /etc/etcd/etcd.conf /etc/etcd/etcd.conf.bak

 

2．编辑配置文件：

ETCD_DATA_DIR="/var/lib/etcd/node235.etcd"

ETCD_LISTEN_PEER_URLS="http://10.40.239.235:2380"

ETCD_LISTEN_CLIENT_URLS="http://10.40.239.235:2379,http://localhost:2379"

ETCD_NAME="node235"

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.40.239.235:2380"

ETCD_ADVERTISE_CLIENT_URLS="http://10.40.239.235:2379"

ETCD_INITIAL_CLUSTER="node234=http://10.40.239.234:2380,node235=http://10.40.239.235:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

2.4 修改etcd.service

在两台服务器上，分别修改服务启动文件 /usr/lib/systemd/system/etcd.service，内容设置如下：

[Service]

Type=notify

WorkingDirectory=/var/lib/etcd/

EnvironmentFile=-/etc/etcd/etcd.conf

User=etcd

# set GOMAXPROCS to number of processors

ExecStart=/bin/bash -c "GOMAXPROCS=$(nproc) /usr/bin/etcd \

--name=\"${ETCD_NAME}\" \

--data-dir=\"${ETCD_DATA_DIR}\" \

--listen-peer-urls=\"${ETCD_LISTEN_PEER_URLS}\" \

--listen-client-urls=\"${ETCD_LISTEN_CLIENT_URLS}\" \

--initial-advertise-peer-urls=\"${ETCD_INITIAL_ADVERTISE_PEER_URLS}\" \

--advertise-client-urls=\"${ETCD_ADVERTISE_CLIENT_URLS}\" \

--initial-cluster=\"${ETCD_INITIAL_CLUSTER}\"  \

--initial-cluster-token=\"${ETCD_INITIAL_CLUSTER_TOKEN}\" \

--initial-cluster-state=\"${ETCD_INITIAL_CLUSTER_STATE}\""

Restart=on-failure

LimitNOFILE=65536

2.5 启动 etcd

依次启动 node234和node235节点的 etcd

systemctl start etcd.service

设置允许开机启动：

systemctl enable etcd.service

2.6 查看etcd的状态

执行下列命令，验证etcd的状态：

etcdctl cluster-health

结果：

member 5a4542289ef36c64 is healthy: got healthy result from http://10.40.239.234:2379

member f792ada069403352 is healthy: got healthy result from http://10.40.239.235:2379

 

查看etfd 结点列表：

etcdctl member list

结果：

5a4542289ef36c64: name=node234 peerURLs=http://10.40.239.234:2380 clientURLs=http://10.40.239.234:2379 isLeader=true

f792ada069403352: name=node236 peerURLs=http://10.40.239.235:2380 clientURLs=http://10.40.239.236:2379 isLeader=false