全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  大数据技术干货  >  详情

kafka的topic,partition,replica,message的理解

来源:千锋教育
发布人:wjy
2022-09-20

推荐

在线提问>>

  Topic:Topic可以理解为一个队列,消息根据Topic进行归类。

  Topic也可以理解为一个命名的消息流 partition: partition:一个topic可以分为多个partition,每个partition是一个有序的队;

  在磁盘上以文件夹的形式存在;

kafka的topic,partition,replica,message的理解

  消息最终以文件形式保存在partition文件夹下面,分段存储。

  replica:replica指的是消息的备份,为了保证kafka的高可用(当leader节点挂了之后,kafka依然能提供服务)kafka提供了备份的功能。

  这个备份是针对partition的。

  可以通过default.replication.factor 对replica的数目进行配置,默认值为1,表示不对topic进行备份。

  如果配置为2,表示除了leader节点,对于topic里的每一个partition,都会有一个额外的备份。

  message:实际写入Kafka中并可以被读取的消息记录。

  每个record包含了key、value和timestamp

相关文章

索引有什么作用?在mongodb中索引分为几类

2023-04-11

如何进行数据清洗?数据清洗的基本流程

2023-03-17

主键约束是什么意思?如何实现mysql主键约束

2023-03-17

eureka和zookeeper的区别对比

2023-03-07

Zookeeper选举机制具体是什么

2023-03-07

Zookeeper和Eureka的区别都有哪些?

2023-03-07
在线咨询 免费试学 教程领取