首页

【分布式消息系统Kafka】消息producer发送数据流程

标签:kafka     发布时间:2022-12-29   

阅读《分布式消息系统Kafka》第七、kafka执行流程章节之“producer发送数据流程”

1)流程说明

# 流程说明@b@1. Producer.send的主线程。@b@① 数据先经过拦截器。@b@② 然后进行网络传输前的序列化@b@③ 计算消息所属的分区@b@④ 按照将消息存入对应的本地分区。(本地缓存,为了批量发送)@b@2. sender线程@b@① 当某个分区内的消息数量达到一定值:'batch.size'之后,才会发送数据。(默认值: 16384@b@(16kb))@b@config.put(ProducerConfig.BATCH_SIZE_CONFIG,16384);@b@② 如果某个分区内消息数量未达到batch.size,sender等待linger.ms之后也会批量发送。(默认@b@值:0ms)@b@config.put(ProducerConfig.LINGER_MS_CONFIG,200);

2)流程细节解释

1. 主线程一条条向本地分区中存入数据。@b@2. Sender线程批量将本地分区的数据,发送到kafka的topic中的对应分区。--提高效率@b@3. 拦截器:可以对producer发送的数据,做一些通用功能的处理。@b@4. 序列化:为了保证数据在网络中传输和kafka的broker之间同步,需要数据执行序列化。@b@5. Partitioner:数据在写入到本地的内存队列(缓冲区)之前,会先计算分区再存放数据。

3)图示

【分布式消息系统Kafka】消息producer发送数据流程

<<推荐下载>>
  • (1) 阿里巴巴Java开发手册8种不同版本
  • (2) Web前端开发视频教程
  • (3) 30+明星讲师PPT课件分享一线大厂架构实战经验
  • (4) java开发_架构篇_视频资源分享_v2208
  • (5) java开发_高级篇_视频资源分享_v2208
  • (6) java开发_进阶篇(中级)_视频资源分享_v2208
  • (7) java开发_入门篇_视频资源分享_v2208
  • (8) 微信小程序开发视频1+167源码+实战demo等下载
  • (9) easy-shopping电子商务java源码(附脚本和安装文档说明)下载
  • (10) java常用的72份知名实用的电子书下载
  • (11) java开发性能优化资料整理大全(8份电子文档+3份实战优化)下载
  • (12) 9个常用的算法设计资料和100以上视频课件内容下载
  • (13) vue开发必备常用手册16件下载
  • (14) 21种不同技术集群方案(es、flink、redis、nginx、zk、lvs、kafka、mysql、k8s等)参考资料下载
  • (15) 20种技术代码规范(js/java/dba/阿里/华为/oracle/mysql等)参考资料下载
  • (16) 微服务五套资料(0-1,架构设计,springcloud,nacos等)下载
  • (17) 架构师(28知识图谱+3套简历模板+6套架构实战文档等)完整资料整理下载
  • (18) 大数据18套实战基础知识+8套简历模板下载
  • (19) 并发编程全套(7套+阿里巴巴+亿级实战等)实战资料下载
  • (20) Kafka九套学习整理知识点全套(面试+笔记+代码api+命令+容备等)资料下载
  • (21) java全套9个不同方向类型的面试题(基础+核心+大厂+架构师+近万套题库等)下载
  • (22) JAVA开发常用API帮助文档大全(超52种以上技术资料,高手必备)下载
  • (23) springcloud超详细139件全套学习实战资料( 视频课件+源码demo+文档资料等)下载
  • 更多推荐>>
  • <<热门文章>>