etcd集群日常维护

摘要:
配置文件和启动参数说明命令行|配置文件|说明data-dir|ETCD_DATA_DIR|指定节点的数据存储目录,包括节点ID,集群ID,集群初始化配置,Snapshot文件,若未指定—wal-dir,还会存储WAL文件;wal-dir|ETCD_WAL_DIR|指定节点的was文件的存储目录,若指定了该参数,wal文件会和其他数据文件分开存储。增加一个新的节点增加一个新的节点分为两步:通过etcdctl或对应的API注册新节点使用恰当的参数启动新节点先看第一步,假设要新加的节点取名为lykops-etc
配置文件和启动参数说明
命令行                     |   配置文件                                |   说明
data-dir                    |   ETCD_DATA_DIR                       |   指定节点的数据存储目录,包括节点ID,集群ID,集群初始化配置,Snapshot文件,若未指定—wal-dir,还会存储WAL文件;
wal-dir                     |   ETCD_WAL_DIR                        |   指定节点的was文件的存储目录,若指定了该参数,wal文件会和其他数据文件分开存储。
name                        |   ETCD_NAME                           |   节点名称
initial-advertise-peer-urls |   ETCD_INITIAL_ADVERTISE_PEER_URLS    |   告知集群其他节点url
listen-peer-urls            |   ETCD_LISTEN_PEER_URLS               |   监听URL,用于与其他节点通讯
advertise-client-urls       |   ETCD_LISTEN_CLIENT_URLS             |   告知客户端url, 也就是服务的url
initial-cluster-token       |   ETCD_INITIAL_CLUSTER_TOKEN          |   集群的ID
initial-cluster             |   ETCD_INITIAL_CLUSTER                |   集群中所有节点
配置文件例子
more /etc/etcd/etcd.conf
# [member]
ETCD_NAME=lykops-etcd1
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
......
ETCD_LISTEN_PEER_URLS="http://192.168.0.101:2380,http://localhost:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.0.101:2379,http://localhost:2379"
......
#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.101:2380"
# if you use different ETCD_NAME (e.g. test), set ETCD_INITIAL_CLUSTER value for this name, i.e. "test=http://..."
ETCD_INITIAL_CLUSTER="lykops-etcd1=http://192.168.0.101:2380,lykops-etcd2=http://192.168.0.102:2380,lykops-etcd3=http://192.168.0.103:2380"
#如果是单机版,注释上面一行
#ETCD_INITIAL_CLUSTER_STATE="new"
#ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.101:2379"
......
#
#[proxy]
......
#[security]
#如果要求SSL连接etcd的话,把下面的配置启用,并修改文件路径,详情请见http://blog.csdn.net/liyingke112/article/details/77776491
#ETCD_CERT_FILE="/etc/ssl/client.pem"
#ETCD_KEY_FILE="/etc/ssl/client-key.pem"
#ETCD_CLIENT_CERT_AUTH="true"
#ETCD_TRUSTED_CA_FILE="/etc/ssl/ca.pem"
#ETCD_AUTO_TLS="true"
#ETCD_PEER_CERT_FILE="/etc/ssl/member.pem"
#ETCD_PEER_KEY_FILE="/etc/ssl/member-key.pem"
#ETCD_PEER_CLIENT_CERT_AUTH="false"
#ETCD_PEER_TRUSTED_CA_FILE="/etc/ssl/ca.pem"
#ETCD_PEER_AUTO_TLS="true"
#
#[logging]
......

启动服务

service etcd start
systemctl enable etcd
集群维护

查看所有member

方法1、http://192.168.0.101:2379/v2/members
方法2、etcdctl member list
573789a076d6f1ab: name=lykops-etcd1 peerURLs=http://192.168.0.101:2380 clientURLs=http://192.168.0.101:2379 isLeader=false
90ad624a2e4158cf: name=lykops-etcd2 peerURLs=http:/192.168.0.102:2380 clientURLs=http://192.168.0.102:2379 isLeader=false
c9b8681eb46426ac: name=lykops-etcd3 peerURLs=http://192.168.0.103:2380 clientURLs=http://192.168.0.103:2379 isLeader=true

查看集群状态

etcdctl cluster-health
member 573789a076d6f1ab is healthy: got healthy result from http://192.168.0.101:2379
member 90ad624a2e4158cf is healthy: got healthy result from http://192.168.0.102:2379
member c9b8681eb46426ac is healthy: got healthy result from http://192.168.0.103:2379
cluster is healthy

更新一个节点

如果想更新一个节点的 IP(peerURLS),首先你需要知道那个节点的 ID。你可以列出所有节点,找出对应节点的 ID。

etcdctl member list

在本例中,假设要更新ID为90ad624a2e4158cf的节点的peerURLs为:http://192.168.0.105:2380

etcdctl member update 90ad624a2e4158cf http://192.168.0.105:2380
Updated member with ID 90ad624a2e4158cf in cluster

删除一个节点

假设要删除 ID 为 90ad624a2e4158cf 的节点

etcdctl member remove 90ad624a2e4158cf
Removed member 90ad624a2e4158cf from cluster

执行完后,目标节点会自动停止服务,并且打印一行日志: etcd: this member has been permanently removed from the cluster. Exiting. 如果删除的是 leader 节点,则需要耗费额外的时间重新选举 leader。

增加一个新的节点

增加一个新的节点分为两步:

通过etcdctl或对应的API注册新节点
使用恰当的参数启动新节点

先看第一步,假设要新加的节点取名为lykops-etcd6, peerURLs 是 http://192.168.0.106:2380

etcdctl member add lykops-etcd6 http://192.168.0.106:2380
added member 9bf1b35fc7761a23 to cluster
ETCD_NAME="lykops-etcd6"
ETCD_INITIAL_CLUSTER="lykops-etcd1=http://192.168.0.101:2380,lykops-etcd2=http://192.168.0.102:2380,lykops-etcd3=http://192.168.0.103:2380,lykops-etcd6=http://192.168.0.106:2380"
ETCD_INITIAL_CLUSTER_STATE=existing

第二步,修改配置文件,把第一步执行输出结果替换掉/etc/etcd/etcd.conf,然后启动

这样,新节点就会运行起来并且加入到已有的集群中了。

注意: 1、不能删除节点后,IP地址不变更的情况下加入集群是无法加入的,删除数据也不行 2、最后修改其他现有主机的/etc/etcd/etcd.conf的ETCDINITIALCLUSTER信息

备份数据

使用etcd自带命令etcdctl进行etc备份

etcdctl backup --data-dir /var/lib/etcd/default.etcd/ --backup-dir /backup/etcd

故障恢复

在使用过程中,有时会出现少量主机故障,需要对集群进行维护。然而在现实情况下,还可能遇到由于严重的设备或网络的故障,导致超过半数的节点无法正常工作。在etcd集群无法提供正常的服务,需要用到一些备份和数据恢复的手段。

首先,从剩余的正常节点中选择一个正常的成员节点, 使用etcdctl backup命令备份etcd数据。

etcdctl backup --data-dir /var/lib/etcd -backup-dir /tmp/etcd_backup
tar -zcxf backup.etcd.tar.gz /tmp/etcd_backup

这个命令会将节点中的用户数据全部写入到指定的备份目录中,但是节点ID,集群ID等信息将会丢失,并在恢复到目的节点时被重新。这样主要是防止原先的节点意外重新加入新的节点集群而导致数据混乱。

然后将Etcd数据恢复到新的集群的任意一个节点上,使用--force-new-cluster参数启动Etcd服务。这个参数会重置集群ID和集群的所有成员信息,其中节点的监听地址会被重置为localhost:2379, 表示集群中只有一个节点。

tar -zxvf backup.etcd.tar.gz -C /var/lib/etcd
etcd --data-dir=/var/lib/etcd --force-new-cluster ...

启动完成单节点的etcd,可以先对数据的完整性进行验证,确认无误后再通过Etcd API修改节点的监听地址,让它监听节点的外部IP地址,为增加其他节点做准备。例如:

用etcd命令找到当前节点的ID。 etcdctl member list 98f0c6bf64240842: name=cd-2 peerURLs=http://127.0.0.1:2580 clientURLs=http://127.0.0.1:2579

由于etcdctl不具备修改成员节点参数的功能, 下面的操作要使用API来完成。 curl http://127.0.0.1:2579/v2/members/98f0c6bf64240842 -XPUT -H "Content-Type:application/json" -d '{"peerURLs":["http://127.0.0.1:2580"]}'

注意,在Etcd中, 建议首先将集群恢复到一个临时的目录中,从临时目录启动etcd,验证新的数据正确完整后,停止etcd,在将数据恢复到正常的目录中。

最后,在完成第一个成员节点的启动后,可以通过集群扩展的方法使用 etcdctl member add 命令添加其他成员节点进来。


免责声明:文章转载自《etcd集群日常维护》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇MySQL的FLUSH句法二项式分布下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Kubernetes2-K8s的集群部署

一、简介   1、架构参考               Kubernetes1-K8s的简单介绍    2、实例架构     192.168.216.51 master  etcd     192.168.216.53 node1     192.168.216.54 node1   3、拓扑   4、软件版本 [root@master ~]# cat...

kubernetes之kubeadm 安装kubernetes 高可用集群

1. 架构信息 系统版本:CentOS 7.6内核:3.10.0-957.el7.x86_64 Kubernetes: v1.14.1Docker-ce: 18.09.5推荐硬件配置:4核8G Keepalived保证apiserever服务器的IP高可用 Haproxy实现apiserver的负载均衡 2. 节点信息 目前测试为 6 台虚拟机,etcd...

ETCD节点故障恢复

我在微服务组里面主要负责配置中心的构建,我们的配置中心使用到了ETCD。在我们的内网环境中搭建了三个节点的ETCD,不过这三个节点的ETCD都搭建在同一台机器上。后来机器资源不够了系统直接kill了ETCD,导致内网的ETCD三个节点全部挂掉了。刚开始想逐个启动就完事了,但是按照之前的data-dir启动之后发现三个节点握手存在问题,原因是三个节点缓存数据...

转载:Rancher RKE 集群备份与恢复

此方法直接使用RKE进行集群恢复,它适用于RKE创建并导入的集群或者RKE部署的local集群 一、备份 参考官网备份步骤,本文采用的是 RKE HA部署的,三台服务器都是全部角色。 1.1 自动备份 RKEv0.2以后默认ETCD自动备份没有开启,需要使用额外的配置参数启用etcd-snapshot服务。默认情况下,etcd-snapshot服务为具有e...

docker应用、搭建、container、image、搭建私有云docker registry、容器通信、端口映射、多机多容器通信、数据持久化、docker部署wordpress、docker compose使用、负载均衡、docker Swarm、docker云部署

docker一、 容器技术和docker简介 1. 部署演变 l 在一台物理机部署Application l 虚拟化技术 2. 容器的必要性 l 开发人员开发一个Application需要各种环境,各种依赖 l 运维人员部署Application时也需要搭建各种环境 3. 容器解决的问题 l 解决了开发和运维之间的矛盾 4. 容器是什么 l 对软...

微服务架构学习与思考(08):服务注册中心(服务注册与服务发现)

为什么会有服务注册中心 为什么会有服务注册中心? 在 client-server 服务-请求模式中,客户端发送请求到服务端,完成一次服务请求。这时候,开发也比较简单,写服务端代码就可以完成这种模式了。 但是,随着业务的发展,功能会越来越多,对外提供的服务也会随之增多。 服务越来越多,怎么才能对众多服务进行简单高效的管理?由原静态的,变更(比如增加、删除等)...