Kafka 消息不被消费问题

近期项目联调中突然出现 kafka消息不被消费的问题，下面是部分日志信息2021-04-22 20:23:16.279INFO [bigdata-openapi-app,,,] 4312 --- [main] o.a.k.c.c.internals.AbstractCoordinator: [Consumer clientId=consumer-1, groupId=imp-idspatch-se

小白0806

3228人浏览 · 2021-04-23 17:38:45

小白0806 · 2021-04-23 17:38:45 发布

近期项目联调中突然出现 kafka消息不被消费的问题，下面是部分日志信息

2021-04-22 20:23:16.279  INFO [bigdata-openapi-app,,,] 4312 --- [           main] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] Discovered group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null)
2021-04-22 20:23:16.280  INFO [bigdata-openapi-app,,,] 4312 --- [           main] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] (Re-)joining group
2021-04-22 20:23:16.337  INFO [bigdata-openapi-app,,,] 4312 --- [           main] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] Group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null) is unavailable or invalid, will attempt rediscovery

日志中的10.3.1.xx:9095是我们的1号节点，从k8s查看1号节点的运行状况发现：cpu 和内存使用率都达到100%，节点运行状况非常不稳定，调整该节点分配的CPU和内存，重启服务后，消息正常消费了。
问题虽然解决，仍有很多疑点，项目的kafka是使用的哪种leader选举方式？ 1号节点重启后，它还是我的消费者所在分区的leader吗？近期会继续研究kafka相关原理。