Elasticsearch集群索引分片未分配unassigned导致集群状态红色red异常若干问题解决记录

一.背景今天收到告警短信发现某个业务系统几台服务器的日志收集服务filebeat均已下线，把filebeat都重启之后，准备到Kibana查阅业务系统的日志，检索异常条目，发现从凌晨开始的日志条目都没有，今天的索引也没有建成，查看集群监控，发现elasticsearch集群状态为red，也无法继续使用和写入数据，于是开始着手排查故障。二.系统环境：所使用集群架构组件及版本信息如下：操作系统OS版本

大往生指导员

6044人浏览 · 2021-11-25 15:49:45

大往生指导员 · 2021-11-25 15:49:45 发布

一.背景

今天收到告警短信发现某个业务系统几台服务器的日志收集服务filebeat均已下线，把Filebeat都重启之后，准备到Kibana查阅业务系统的日志，检索异常条目，发现从凌晨开始的日志条目都没有，今天的索引也没有建成，查看集群监控，发现Elasticsearch集群状态为red，也无法继续使用和写入数据，于是开始着手排查故障。

二.系统环境：

所使用集群架构组件及版本信息如下：

操作系统OS版本：CentOS release 7.9.2009 (Core)

名称	版本号
filebeat	7.10.0
kafka	2.4.1
zookeeper	3.5.7
logstash	7.5.2
elasticsearch	7.5.2
kibana	7.5.2

三.故障处理流程

1.首先在Kibana的控制台Dev Tools上使用

GET _cat/shards?v&s=state,prirep

查看索引的分片shard状态

发现主（state中标记为p，primary缩写）副分片（state中标记为r，replica缩写）都处于UNASSIGNED未分配的状态，所以Kibana上无法读取对应名为idr-attendance_2021.11.17以及.monitor-es-7-2021.11.16的索引上的数据

2.继续使用explain接口查看具体原因

GET /_cluster/allocation/explain
{
"index": "idr-attendance_2021.11.17",
"shard": 0,
"primary": true
}

把步骤1中提到的当天出现分片分配异常索引idr-attendance_2021.11.17，和具体的分片编号0，填入到上面的参数中，由于主分片和副本都有异常，首先把primary置为true，用来查询主分片异常原因，之后置为false，用来查询副本分片异常原因，调接口查询结果如下图所示

上图提示在Elasticsearch集群节点Elasticsearch02出现了分片分配异常的情况，节点Elasticsearch02是由于translog损坏corrupt导致的无法恢复（上图异常信息没截全），损坏原因怀疑是Filebeat服务的不正常停止导致数据流传输过程中异常中断。导致该0号分片无法分配UNASSIGNED。并且此时调用以下接口查看集群状态：

GET _cat/health?v

发现集群状态为red，无法正常使用

3.由于分片的事务日志translog出现了failed to recover from translog的问题，表示分片的事务日志已经遭到损坏，无法继续写入分片，所以需要清理已损坏的事务日志。针对三个Elasticsearch节点的集群，由于整个Elasticsearch集群已无法写入且运行清理工具需要暂停，同时避免出现脑裂等数据异常问题，所以首先停止Elasticsearch集群的所有节点

systemctl stop elasticsearch

没有部署成系统服务也可以通过kill进程的方式停止Elasticsearch服务

4.接着查询该问题索引的索引ID，即uuid，以此定位到问题节点Elasticsearch02的事务日志所在目录

GET _cat/indices/idr-attendance_2021.11.17?v

如上图查询结果所示，查询到的idr-attendance_2021.11.17的uuid为B7svQGUgQSm0hyVWUnGAdg

5.登录到节点Elasticsearch02所在服务器，切换成启动Elasticsearch服务用户的身份，去执行清除事务日志translog的操作，否则之后重新生成的文件会出现权限不匹配导致无法写入的问题，操作步骤如下图所示

su - elk

cd /data/ELK/elasticsearch_data/data/nodes/0/indices/B7svQGUgQSm0hyVWUnGAdg/0/translog/

/data/elasticsearch/bin/elasticsearch-shard remove-corrupted-data --index idr-attendance_2021.11.17 --shard-id 0

回车后会对输入的索引和分片的事务日志tranlogs进行检索，并找出已损坏的事务日志，且由于事务日志已损坏，只能放弃部分未写入的数据换取Elasticsearch集群的正常启动，所以输入"y"确认执行清除损坏事务日志的操作，如下图

执行结果如下图所示

6.重启Elasticsearch集群或已暂停的节点，回到kibana的Dev Tools开发者工具页面上，更改出现异常的索引idr-attendance_2021.11.17的参数"accept_data_loss"为"true"，重新启用该索引，此次操作由POST请求实现

POST /_cluster/reroute

{

"commands" : [

{

"allocate_stale_primary" : {

"index" :"idr-attendance_2021.11.17",

"shard" : 0,

"node" : "rhjG2W_pStq_8zzbcwZvdA",

"accept_data_loss" : true

}

]

}

返回acknowledged:true表示索引参数调整成功，如下图

可以看到该索引分片的主分片(primary为true的一栏，表示为主分片身份)处于初始化"INITIALIZING"状态中，如下图

而副分片(primary为false的一栏，表示为主分片身份)需等待主分片初始化完毕后，才能开始初始化，所以状态state表示为"UNASSIGNED"，如下图

之后等待索引各分片恢复为"STARTED"即可，如下图

7.最后查询Elasticsearch集群健康状态，恢复正常green，如下图

GET _cat/health?v

四.后记

1.后续又出现了索引分片未分配UNASSIGNED的错误，老方法，查询并分析后得到如下图的报错

由于Elasticsearch配置文件elasitcsearch.yml中参数cluster.routing.allocation.allow.rebalance的默认值为"indices_all_active"，即所有索引都恢复正常使用的状态后才能触发数据平衡，且当前有索引存在未分配UNASSIGNED分片的情况，导致整个Elasticsearch集群无法正常使用

2.网上方案是把出现问题的索引的副本数replica改为0，即针对该问题索引不进行索引数据冗余容灾，则避免出现Elasticsearch集群不停地等待该索引副本数据复制正常后而导致的不可用问题，在线更改索引副本数的命令如下图

curl -H 'Content-Type: application/json' -u elastic:'elastic用户密码' -XPUT http://192.168.193.155:9200/ems-nginx_2021.11.11/_settings -d '{"number_of_replicas": 0 }'

返回的结果为

{"acknowledged": true}

表示成功

之后使用

curl -XGET -u elastic:'elastic用户密码' http://192.168.193.154:9200/ems-nginx_2021.11.11/_settings

查询到该索引分片已调整为1个，符合上述副本分片数置0的调整，如下图

3.本以为把索引分片调整为只保留1个即可恢复的时候，发现Elasticsearch日志又出现了新的报错，如下图

查找资料后发现是当前Elasticsearch集群的索引分片数达到了最大写入上限，需对集群分片上限数进行扩容，使用如下请求

curl -XPUT -H "Content-Type:application/json" -u elastic:'elastic用户密码' -d '{"persistent":{"cluster":{"max_shards_per_node":10000}}}' 'http://192.168.193.154:9200/_cluster/settings'

即可把集群索引分片上限提升到10000，然后分片数据即可正常写入

5.在故障处理过程中，可视化界面Kibana会由于Elasticsearch集群失效而无法访问，这时候在开发工具Dev Tools里执行的操作只能直接通过Elasticsearch的9200接口进行操作，详见上文中curl发起PUT请求过程，接口具体用法此处不再赘述。

6.后续经对Elasticsearch日志进行分析，发现有一处磁盘写满的报错，如下图

于是确认系统磁盘空间，确认Elasticsearch的数据目录/data/ELK，发现当前还有1.5T的空间剩余

于是和系统硬件管理人员确认，发现是磁盘挂载出现了问题，三个服务器节点磁盘总大小是3T，单个节点上限不超过2.5T，意思是此消彼长，并且发现三个节点的磁盘使用量都达到了1.1T，超过了实际磁盘总大小，所以会出现磁盘空间不足的错误信息。之后对磁盘进行扩容之后，重启Elasticsearch集群所有节点，索引分片数据开始正常重建，等待一段处理时间后，恢复正常使用。