Cassandra集群管理-删除异常节点
故障模拟节点:172.20.101.166,模拟节点系统直接损坏,所有数据丢失。
注意:
本文档只是体系文档中的一部分,前面文档信息详见:
测试准备+下线正常节点:https://blog.51cto.com/michaelkang/2419518
节点异常重启:https://blog.51cto.com/michaelkang/2419524
添加新节点:https://blog.51cto.com/michaelkang/2419521
删除异常节点:https://blog.51cto.com/michaelkang/2419525
查看集群其它节点日志
日志打印内容与节点异常重启基本一致。
查看异常节点
[root@kubm-01 ~]# nodetool describecluster
Cluster Information:
Name: pttest
Snitch: org.apache.cassandra.locator.GossipingPropertyFileSnitch
DynamicEndPointSnitch: enabled
Partitioner: org.apache.cassandra.dht.Murmur3Partitioner
Schema versions:
cfce5a85-19c8-327a-ab19-e1faae2358f7: [172.20.101.164, 172.20.101.165, 172.20.101.167, 172.20.101.160, 172.20.101.157]
UNREACHABLE: [172.20.101.166]
处理办法
1:在一个正常节点上执行nodetool status 命令,获取宕机节点的id
[root@kubm-01 ~]# nodetool status
Datacenter: dc1
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
.......
异常节点状态为DN
DN 172.20.101.166 76.83 MiB 256 ? 88e16e35-50dd-4ee3-aa1a-f10a8c61a3eb rack1
UN 172.20.101.167 71.78 MiB 256 ? 8808aaf7-690c-4f0c-be9b-ce655c1464d4 rack1
UN 172.20.101.160 66.31 MiB 256 ? 57cc39fc-e47b-4c96-b9b0-b004f2b79242 rack1
UN 172.20.101.157 55 MiB 256 ? 091ff0dc-415b-48a7-b4ce-e70c84bbfafc rack1
2:确认异常节点是否为种子节点,如果死亡节点是种子节点,请在每个节点上更改群集的种子节点配置:
在每个节点的cassandra.yaml文件中,从seed-provider 属性的- seeds列表中删除无效节点的IP地址。如果群集需要新的种子节点来替换死亡的种子节点,请将新节点的IP地址添加到- seeds列表中。需要重启节点服务。
3:如果是普通节点执行:nodetool removenode host-id移除节点
nodetool removenode 88e16e35-50dd-4ee3-aa1a-f10a8c61a3eb
任务执行成功后,集群会对数据副本进行检测,恢复必要的副本。
### 验证节点删除
异常节点已经消失、节点成功删除。
[root@kubm-02 ~]# nodetool status
Datacenter: dc1
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
UN 172.20.101.164 68.2 MiB 256 ? dcbbad83-fe7c-4580-ade7-aa763b8d2c40 rack1
UN 172.20.101.165 59.06 MiB 256 ? b985de23-6ad1-40b9-a252-dbaeb5d4cb12 rack1
UN 172.20.101.167 71.8 MiB 256 ? 8808aaf7-690c-4f0c-be9b-ce655c1464d4 rack1
UN 172.20.101.160 66.32 MiB 256 ? 57cc39fc-e47b-4c96-b9b0-b004f2b79242 rack1
UN 172.20.101.157 55.06 MiB 256 ? 091ff0dc-415b-48a7-b4ce-e70c84bbfafc rack1