kafka的topic,partition,replica,message的理解
来源:千锋教育
发布人:wjy
2022-09-20
推荐
在线提问>>
Topic:Topic可以理解为一个队列,消息根据Topic进行归类。
Topic也可以理解为一个命名的消息流 partition: partition:一个topic可以分为多个partition,每个partition是一个有序的队;
在磁盘上以文件夹的形式存在;
消息最终以文件形式保存在partition文件夹下面,分段存储。
replica:replica指的是消息的备份,为了保证kafka的高可用(当leader节点挂了之后,kafka依然能提供服务)kafka提供了备份的功能。
这个备份是针对partition的。
可以通过default.replication.factor 对replica的数目进行配置,默认值为1,表示不对topic进行备份。
如果配置为2,表示除了leader节点,对于topic里的每一个partition,都会有一个额外的备份。
message:实际写入Kafka中并可以被读取的消息记录。
每个record包含了key、value和timestamp