Kafka 消息不被消费问题
近期项目联调中突然出现 kafka消息不被消费的问题,下面是部分日志信息2021-04-22 20:23:16.279INFO [bigdata-openapi-app,,,] 4312 --- [main] o.a.k.c.c.internals.AbstractCoordinator: [Consumer clientId=consumer-1, groupId=imp-idspatch-se
·
近期项目联调中突然出现 kafka消息不被消费的问题,下面是部分日志信息
2021-04-22 20:23:16.279 INFO [bigdata-openapi-app,,,] 4312 --- [ main] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] Discovered group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null)
2021-04-22 20:23:16.280 INFO [bigdata-openapi-app,,,] 4312 --- [ main] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] (Re-)joining group
2021-04-22 20:23:16.337 INFO [bigdata-openapi-app,,,] 4312 --- [ main] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=imp-idspatch-server2_1597839792] Group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null) is unavailable or invalid, will attempt rediscovery
日志中的10.3.1.xx:9095是我们的1号节点,从k8s查看1号节点的运行状况发现:cpu 和 内存使用率都达到100%,节点运行状况非常不稳定,调整该节点分配的CPU和内存,重启服务后,消息正常消费了。
问题虽然解决,仍有很多疑点,项目的kafka是使用的哪种leader选举方式? 1号节点重启后,它还是我的消费者所在分区的leader吗?近期会继续研究kafka相关原理。
更多推荐
所有评论(0)