AnyShare Family 7 Eceph 存储界面显示集群状态 SplitBrain

关键字

Eceph、SplitBrain

​

适用产品

• AnyShare Express 7.0.x
• AnyShare Enterprise 7.0.x

​

问题描述

AnyShare ECeph 存储界面显示集群状态 SplitBrain ，数据状态 Degraded ，集群状态详情显示如下警告信息：

SplitBrain

​

问题影响

无法正常上传下载文件。

​

问题原因

两节点通信网络全部断开，两个节点交替进行重启，导致 ECeph 集群出现脑裂。

1.各节点均删除对方节点上的 monitor 信息，各自节点上运行 ceph -s ，只看到自己 monitor 的信息。

2.查看 /etc/ceph/ceph.conf 只看到自己 monitor 信息，如只包含 [ceph-mon.m0] 或只包含 [ceph-mon.m1] 。

​

解决方案

1.获取 eceph-config-manager 服务所在节点。

kubectl get pods -A -o wide | grep proton-eceph-config-manager

2.获取eceph-config-manager服务对外端口。

kubectl get svc -A | grep proton-eceph-config-manager

3.在 node-106-218 节点上执行如下命令：

cd /opt/minotaur/tools/

python split_brain_manager.py -f ping_mon_status --url http://10.98.219.131:14322

python split_brain_manager.py -f split_brain_rebuild --url http://10.98.219.131:14322

4.在每台服务器后台查看集群状态。

ceph-s

​

/etc/ceph/ceph.conf 能看到所有节点的 mon 。

5.控制台确认集群状态。

​

更多信息

/opt/minotaur/tools 下有脚本 agent_config.py、agent_disk.py、cluster_manager.py、rgw_s3_setting.py、split_brain_manager.py，其中方法有兴趣的同学可以详细查看下。