近期项目联调中突然出现 kafka消息不被消费的问题,下面是部分日志信息

2021-04-22 20:23:16.279  INFO [bigdata-openapi-app,,,] 4312 --- [           main] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] Discovered group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null)
2021-04-22 20:23:16.280  INFO [bigdata-openapi-app,,,] 4312 --- [           main] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] (Re-)joining group
2021-04-22 20:23:16.337  INFO [bigdata-openapi-app,,,] 4312 --- [           main] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] Group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null) is unavailable or invalid, will attempt rediscovery

日志中的10.3.1.xx:9095是我们的1号节点,从k8s查看1号节点的运行状况发现:cpu 和 内存使用率都达到100%,节点运行状况非常不稳定,调整该节点分配的CPU和内存,重启服务后,消息正常消费了。
问题虽然解决,仍有很多疑点,项目的kafka是使用的哪种leader选举方式? 1号节点重启后,它还是我的消费者所在分区的leader吗?近期会继续研究kafka相关原理。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐