kafka手动修改消费者偏移量
确定topic作用域——当前有3种作用域指定方式:--all-topics(为consumer group下所有topic的所有分区调整位移),--topic t1 --topic t2(为指定的若干个topic的所有分区调整位移),--topic t1:0,1,2(为指定的topic分区调整位移)--to-datetime :把位移调整到大于给定时间的最早位移处,datetime格式是yyyy-
kafka手动修改消费者偏移量_代码运输员的博客-CSDN博客_更改kafka偏移量
#查看消费者消费偏移量
./kafka-consumer-groups.sh --bootstrap-server snn:6667 --group offsettest –describe
#设置为最初偏移量
./kafka-consumer-groups.sh --bootstrap-server snn:6667 --group offsettest --topic offset-test --reset-offsets --to-earliest –execute
#设置任意偏移量
./kafka-consumer-groups.sh --bootstrap-server snn:6667 --group offsettest --topic offset-test --reset-offsets --to-offset 3 –execute
#设置最近偏移量
./kafka-consumer-groups.sh --bootstrap-server snn:6667 --group offsettest --topic offset-test --reset-offsets --to-latest --execute
Kafka consumer group位移0ffset重设 - 大数据从业者FelixZh - 博客园
-
确定topic作用域——当前有3种作用域指定方式:--all-topics(为consumer group下所有topic的所有分区调整位移),--topic t1 --topic t2(为指定的若干个topic的所有分区调整位移),--topic t1:0,1,2(为指定的topic分区调整位移)
-
确定位移重设策略——当前支持8种设置规则:
-
--to-earliest:把位移调整到分区当前最小位移
-
--to-latest:把位移调整到分区当前最新位移
-
--to-current:把位移调整到分区当前位移
-
--to-offset <offset>: 把位移调整到指定位移处
-
--shift-by N: 把位移调整到当前位移 + N处,注意N可以是负数,表示向前移动
-
--to-datetime <datetime>:把位移调整到大于给定时间的最早位移处,datetime格式是yyyy-MM-ddTHH:mm:ss.xxx,比如2017-08-04T00:00:00.000
-
--by-duration <duration>:把位移调整到距离当前时间指定间隔的位移处,duration格式是PnDTnHnMnS,比如PT0H5M0S
-
--from-file <file>:从CSV文件中读取调整策略
-
-
确定执行方案——当前支持3种方案:
-
什么参数都不加:只是打印出位移调整方案,不具体执行
-
--execute:执行真正的位移调整
-
--export:把位移调整方案按照CSV格式打印,方便用户成csv文件,供后续直接使用
-
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-latest --execute
更多推荐
所有评论(0)