web | Java

kafka的topic,partition,replica,message的理解

千锋教育

Topic:Topic可以理解为一个队列,消息根据Topic进行归类。


Topic也可以理解为一个命名的消息流 partition: partition:一个topic可以分为多个partition,每个partition是一个有序的队;


在磁盘上以文件夹的形式存在;


消息最终以文件形式保存在partition文件夹下面,分段存储。


replica:replica指的是消息的备份,为了保证kafka的高可用(当leader节点挂了之后,kafka依然能提供服务)kafka提供了备份的功能。


这个备份是针对partition的。


可以通过default.replication.factor 对replica的数目进行配置,默认值为1,表示不对topic进行备份。


如果配置为2,表示除了leader节点,对于topic里的每一个partition,都会有一个额外的备份。


message:实际写入Kafka中并可以被读取的消息记录。

每个record包含了key、value和timestamp