Kafka消费者出现这种日志,说明kafka消费者拉取的偏移量,在Kafka服务端没有,就会进行偏移量的重置。

为什么会没有偏移量呢?可能是因为该偏移量的数据删除了。也可能是因为程序里调用了seek方法,手动指定了偏移量,而这个偏移量在Kafka中还没有存储到数据,也会报out of range。

博主就是因为在负载均衡监听器中,获取consumer在kafka服务端的偏移量时,调用了consumer.commited()方法。该方法返回的就是下一个要拉取的偏移量,而在这里我又加了1。所以造成了out of range的情况出现。

出现out of range后,kafka会自动重置偏移量。针对上述的第一种out of range的情况,即偏移量数据丢失了。那么kafka会将偏移量自动重置到下一个有数据的偏移量上。例如,偏移量1-10中,3-5偏移量的数据丢失了。那么,kafka拉取到3时,会报out of range日志,此时kafka会将偏移量重置到6上。

而针对第二种情况的out of range。即超出了现有偏移量的范围,此时kafka会根据consumer设置的reset策略进行重置。如果设置的是earliest,则会重置到开头,重新消费。如果设置的是latest,则会重置到最近的一个有偏移量的地方。
所以,当我们设置为earliest时,且程序中调用seek手动设定偏移量时,如果偏移量计算不好,很容易造成从头开始消费的后果。针对这种情况,我们可以把reset属性设置成none。重置时抛出异常,来避免从头开始重复消费的后果。

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐