首页

Kafka & Mafka技术分享及讨论(美团网)

标签:kafka     发布时间:2022-10-08   
  • 云盘下载:
  • [提取码:8hec]
       ( 需积分:2  )
Kafka-0.6.x 只是开发出分布式⽇志/消息系统雏形,功能不完善,仅能适合对数据可靠 性要求不⾼,⽇志收集的场景(例如:海量⽇志数据收集、分析)  @b@Kafka-0.7.x 新增feature(基于时间清除历史数据、按照时间滚动分段⽂件、⽇志分类)  bugfix & Improvement  @b@Kafka-0.8.x 具有⾥程碑意义的⼀个版本,加⼊多副本机制容灾,再也不只是适合⽇志收 集的场景了,Kafka在可靠性⽅⾯做了很多改进,已经可以⽤在企业级应⽤。  @b@Kafka-0.9.x 新增安全性模块,客户端访问读写权限控制 重构Connect模块 重新设计Consumer
应⽤领域 @b@ Kafka + Flume + Storm在线计算 @b@flume + Kafka + hdfs⽤于MR离线计算  @b@Kafka + Spark⽤于数据挖掘和机器学习  @b@Apache Kylin(Hadoop + Spark + Kafka +  HBase)⼤数据OLAP引擎  @b@Kafka纯消息系统