首页

【Kafka学习笔记】KafKa消费者之offset的偏移量

标签:kafka,offset     发布时间:2022-12-05   

阅读有关Kafka的《Kafka学习笔记》之“6. Kafka消费者 之 offset的维护”、”2. Consumer消费数据流程”章节,通过offset偏移量便故障(现断电宕机等故障)恢复后继续消费

1)索引文件+数据文件(offset偏移量关联)  

【Kafka学习笔记】KafKa消费者之offset的偏移量

【Kafka学习笔记】KafKa消费者之offset的偏移量

注:kafka会保存每个topic数据消费的记录offset,以便记录consumer消费到哪个数据了

2)Consumer消费成功后,再提交offset偏移量并持久化  -  同步提交和异步提交区分

【Kafka学习笔记】KafKa消费者之offset的偏移量

2.1)同步提交代码示例

// 同步提交: consumer提交完毕offset之后,才会继续消费数据。 @b@//3. 消费数据 while (true){ //JDK1.8 的API 毫秒数,@b@ ConsumerRecords<String, String> crs = kafkaConsumer.poll(Duration.ofMillis(100));@b@ for (ConsumerRecord<String, String> cr : crs) { @b@      System.out.println("cr = " + cr); @b@ } @b@ kafkaConsumer.commitAsync();@b@}

2.2)异步提交代码示例

// 异步提交: consumer只需要发出提交offset的指令之后,就可以继续消费数据,不需要等待本地offset 是否提交成功。 @b@while (true){ @b@  //JDK1.8 的API 毫秒数,@b@ ConsumerRecords<String, String> crs = kafkaConsumer.poll(Duration.ofMillis(100)); @b@ for (ConsumerRecord<String, String> cr : crs) { @b@   System.out.println("cr = " + cr);@b@ } @b@ kafkaConsumer.commitSync(); @b@}
<<推荐下载>>
  • (1) 阿里巴巴Java开发手册8种不同版本
  • (2) Web前端开发视频教程
  • (3) 30+明星讲师PPT课件分享一线大厂架构实战经验
  • (4) java开发_架构篇_视频资源分享_v2208
  • (5) java开发_高级篇_视频资源分享_v2208
  • (6) java开发_进阶篇(中级)_视频资源分享_v2208
  • (7) java开发_入门篇_视频资源分享_v2208
  • (8) 微信小程序开发视频1+167源码+实战demo等下载
  • (9) easy-shopping电子商务java源码(附脚本和安装文档说明)下载
  • (10) java常用的72份知名实用的电子书下载
  • (11) java开发性能优化资料整理大全(8份电子文档+3份实战优化)下载
  • (12) 9个常用的算法设计资料和100以上视频课件内容下载
  • (13) vue开发必备常用手册16件下载
  • (14) 21种不同技术集群方案(es、flink、redis、nginx、zk、lvs、kafka、mysql、k8s等)参考资料下载
  • (15) 20种技术代码规范(js/java/dba/阿里/华为/oracle/mysql等)参考资料下载
  • (16) 微服务五套资料(0-1,架构设计,springcloud,nacos等)下载
  • (17) 架构师(28知识图谱+3套简历模板+6套架构实战文档等)完整资料整理下载
  • (18) 大数据18套实战基础知识+8套简历模板下载
  • (19) 并发编程全套(7套+阿里巴巴+亿级实战等)实战资料下载
  • (20) Kafka九套学习整理知识点全套(面试+笔记+代码api+命令+容备等)资料下载
  • (21) java全套9个不同方向类型的面试题(基础+核心+大厂+架构师+近万套题库等)下载
  • (22) JAVA开发常用API帮助文档大全(超52种以上技术资料,高手必备)下载
  • (23) springcloud超详细139件全套学习实战资料( 视频课件+源码demo+文档资料等)下载
  • 更多推荐>>
  • <<热门文章>>