这是一位腾讯大佬 2020年4月份在死磕 Elasticsearch技术交流微信群里发起讨论的问题,之前初步讨论了答案,但是不够细或者说讲解不透,所以一直没有成文。
这一次,加上了实践验证,说透。
还是没太搞懂 seed_hosts 和 cluster.initial_master_nodes 的区别。
希望大佬们点拨一下... ...
问题的核心是:seed_host 和 cluster.initial_master_nodes 的区别?
为避免认知偏差,将常用英文词汇做基础释义:
主节点负责集群范围内的轻量级操作,例如:
创建或删除索引
跟踪哪些节点是集群的一部分
确定将哪些分片分配给哪些节点。
拥有稳定的主节点对于集群健康非常重要。
候选主节点通过主选举过程成为主节点。
一个集群中:选举后只有一个主节点。
以下脑裂是我的通俗解释:
假设在 2.1 选举主节点过程中,一个集群中出现了 2个或者2个以上的主节点,也就是说一个集群形式上划分为两个或两个以上的孤立集群,这就被称为脑裂。
候选主节点必须合力完成的两个基本任务:
选举主节点
更改集群状态
即时某些节点故障,也要保住以上两活动正常运行。
每个 Elasticsearch 集群都有一组投票配置,这是一组候选主节点的集合。
什么时候使用呢?
第一:选举主节点;
第二:提交新的集群状态。
什么时候做决策?——仅在投票配置中超过一半节点做出响应后才做决策。
通常:投票配置和集群中所有候选主节点集合相同。但,某些情况下可以不同。
以下是要强调的也是被问最多的问题之一:
为确保集群仍然可用,请勿同时停止投票配置中的一半或更多节点。
只要有一半以上的投票节点可用,集群就可以正常工作。
例如:
如果有三个或四个候选主机节点,则集群可以容忍一个候选主节点不可用。
如果有两个或更少的候选主节点,则它们必须全部保持可用。
后面的实战验证举例,你会进一步看到结论。
集群中通常应有奇数个候选主节点。
如果有偶数个,Elasticsearch将其中一个排除在投票配置之外,以确保其大小为奇数。
换种通俗说法:
4个候选主节点和3个候选主节点本质一样,只容许一个候选主节点失效。
7.x | 7.X 之前 |
---|---|
discovery.seed_hosts | discovery.zen.ping.unicast.hosts |
cluster.initial_master_nodes | minimum_master_nodes min_master_count |
6.X 5.X对应名字:discovery.zen.ping.unicast.hosts。
看如下截图,对比:除了名称不同,释义部分一模一样。
如果多节点集群,discovery.seed_hosts 应该配置为候选主节点。
这也是7.X的特性,区别于之前设置min_master_count候选主节点的个数。
白话文:设置候选主机节点的主机名称列表。
在7.x节点上,discovery.zen.minimum_master_nodes设置是允许的,但被忽略。
集群首次启动的时候,cluster.initial_master_nodes 必须设置为执行集群引导。
在集群初始化阶段,cluster.initial_master_nodes 应该包含候选主节点的名称,并在集群中每个候选主节点上进行定义。
本质区别:
Discovery 过程从一个或多个种子主机列表以及集群中已知的任何一个候选主节点地址开始。
该过程分两个阶段进行:
每个节点通过连接到每个地址并尝试识别其连接的节点是否是候选主节点来探测种子地址。
然后,该节点将探测刚刚发现的所有新节点,请求其对等节点,依此类推。
如果该节点不是候选主节点,则它将继续此 Discovery 过程,直到发现了选举的主节点为止。如果未发现选择的主节点,则该节点将在默认值为 1s 之后重试。
如果该节点是候选主节点,则它将继续此 Discovery 过程,直到它找到了选举的主节点,或者它找到了足够的候选主节点来完成选举。同样的,如果这两种方法都没有很快的进行,则该节点将在 1s 后重试。
这里有点绕,需要结合英文文档多读几遍,加深 Discovery 理解。
现在,7.X Elasticsearch 的生产部署需要至少在 elasticsearch.yml 配置文件中指定以下设置之一:
在 7.X 之前早期版本中,有可能在 discovery 过程中使用非候选主节点作为种子节点或在符合条件的主机之间间接传输信息。
像这样的依赖非候选主节点的集群非常脆弱,无法自动从某些故障中恢复。
7.X 版本之后,discovery 仅涉及集群中候选主节点,不会像早期版本一样依赖于非候选主节点。
如何在7.X 中配置呢?应该在配置中将 discovery.seed_hosts 或者 discovery.seed_providers 设置为所有候选主节点的地址。
7.X 默认情况下,如果集群节点未能响应 3 个连续的 ping(每个 ping 在 10 秒后超时),则集群故障检测子系统现在将其视为故障节点。
因此,响应时间超过 30 秒 的节点可能会从集群中删除。
7.X 以前,每个ping的默认超时为 30 秒,因此,无响应的节点可能会在集群中保留 90 秒以上。
如果你希望从集群中删除一半或更多的候选主节点,则必须首先使用投票配置排除API从投票配置中排除受影响的节点。
排除 API 如下:
POST _cluster/voting_config_exclusions?node_names=<node_names>
POST _cluster/voting_config_exclusions?node_ids=<node_ids>
DELETE _cluster/voting_config_exclusions
如果你同时删除少于一半的候选主节点,则不需要做投票排除。
如果仅删除非候选主节点(例如仅数据节点或仅协调节点),则不需要做投票排除。
同样,如果将节点添加到集群,也不需要投票排除。
数据节点配置:
结果如下:
两个数据节点配置:
三节点相同配置如下:
注意,这时候,我把node-1 强制杀掉?大家猜会发生什么?
如果说宕机,你错了!集群进行了重新选主:
结果如下:节点2 成为主节点。
实际业务场景不建议这么做,数据节点在没有设置主节点角色:node.master: true 的前提下,成为了主节点。
三节点相同配置如下:
逐个kill 掉 节点2、节点 1 看看结果?
先干掉节点2:节点1成为了主节点。
再干掉节点1:集群已无法访问和使用。
这个时候,错误日志如下:
核心错误说明:候选主节点要求至少 2个节点。
an election requires at least 2 nodes ..... which is not a quorum.
详细报错如下:
[node-3] master not discovered or elected yet, an election requires at least 2 nodes with ids from [0bozQB4VRZWB4TuzjRahAw, Z7PxWN_bQEeeI6KOlQT8pw, AWDZHrxaTd2qmOB1e8kadQ], have discovered [] which is not a quorum; discovery will continue using [172.21.0.14:9300, 172.21.0.14:9302] from hosts providers and [{node-3}{Z7PxWN_bQEeeI6KOlQT8pw}{ejRvW9egTrum3G5DrwmrIA}{172.21.0.14}{172.21.0.14:9303}{ml.machine_memory=8200851456, xpack.installed=true, ml.max_open_jobs=20}, {node-1}{AWDZHrxaTd2qmOB1e8kadQ}{FFIDQcynQMGHqPwCW9lFfw}{172.21.0.14}{172.21.0.14:9300}{ml.machine_memory=8200851456, ml.max_open_jobs=20, xpack.installed=true}] from last-known cluster state; node term 8, last-accepted version 92 in term 8
正如官方文档所示:
为确保集群仍然可用,你不得同时停止投票配置中的一半或更多节点。只要有一半以上的投票节点可用,集群可以正常工作。
如前所述:投票配置中配置的就是候选主节点!
在老配置基础上修改,注释掉:initial_master_nodes 的配置。配置如下:
集群结果如下:
集群也能正常启动。结合 2.6 小节看能更好理解一些。
是的,必须候选主节点。
理论可以,实际不推荐。
Discovery 过程就是发现过程。
是的。
大规模集群要注意:集群规划阶段要考虑设置:奇数个候选主节点。
集群初始启动阶段之前候选主节点配置要设置合理。
可以,但不推荐。
如果多节点集群,建议一步到位。
仅在集群首次启动会使用,其他阶段可以去掉。详见案例五。
不过,规范管理起见,配置上不用动就可以了。
换个思维理解,这里如果有 7 个候选主节点,意味着至少要一半以上有效集群才能存活。
也就是干掉3个候选主节点,集群依然是存活状态的。
不会,去掉的3个节点,还会继续加入原来的集群啊!
类似概念的确单纯看文档不好理解,甚至你看完本文还是有点糊涂。
不要为了区分概念而区分概念,实践一把,把理论概念转成实践、再结合理论,就好理解了。
欢迎留言写下你的思考!
参考:
https://www.elastic.co/guide/en/elasticsearch/reference/7.0/breaking-changes-7.0.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-discovery-voting.html8
加微信:elastic6(仅有少量坑位了),和 BAT 大佬一起精进 Elastic 技术!
联系客服