可靠性保证和复制机制
Kafka的以下几个基本特性保证了基本的可靠性:
Kafka保证一个分区的消息是FIFO的
只有消息写入了所有分区的同步副本时,才认为是已提交的
只要有一个副本活跃,则消息就不会丢失
消费者只能读取已提交的消息
生产者可以进行有关配置,使得不一定等到数据认为是已提交的之后,才进行下一轮的投递,这是在可用性和一致性的之间的平衡
分区副本复制方式和同步条件:
每个分区所在的broker需要向分区首领所在的broker每6s(可配置)发送一个zk的消息
分区副本过去10s(可配置