消息中间件--02. Kafka架构

付威     2020-02-09   1553   4min  

几个概念

broker:集群中的每一台服务器,称为Broker

topic或者subject:队列名

partition:一个队列中的消息可以存储到多台broker上面,一个broker中的分区,称为partition

kafka的架构

消息队列的流程从生产者生产消息,通过TCP协议的网络请求发送到Kafka集群,然后Consumers来进行消费,具体如下图:

Kafka架构

其中生产者和消费者都相当于客户端。

Topic/Log/Partition

Topic是一个类别的名称,所有的Message都发送到Topic下面。对于每一个topic,都会有一个或者多个Partition.具体的写入方式如下

Kafka架构

partition 也可以看成一个有序的Message序列,这个message按顺序追加到一个叫commit log的文件。

kafka的消息生产流程

当生产者通过TCP协议向kafka服务器发送消息的时候,kafka会选择对应的Partition, 选择机Partition制有三种:

  1. 根据partitionId进行选择
  2. 没有partitionId,则根据key的haskValue来选择
  3. 没有id和key的情况下,会采用round-robin方式做简单的负载

根据partition找到Broker机器群,找到集群中的leader节点,顺序写入消息

Kafka架构

注意:Kafka的读写都在leader上面,与zookeeper不同。

Broker收到消息后顺序写入对应的partition文件中,同时由其他的follower同步到硬盘中。

注意:每个broker都是自己所管理的partition的leader,同时又是其他broker所管理partitions的followers,kafka通过这种方式来达到负载均衡。

kafka的消费

传统的消息的传递模式有2种,队列(queuing)和(publish-subscribe)。在queuing模式中,多个consumer从服务器中读取消息,消息只会到达一个Consumer。publish-subcribe模型中,消息会广播给所有的consumer。Kafka基于这2个模型提供了一个Consumer group概念。

每个Consumer都有一个自己归属的Group,发布到topic中的message中的message会被传递到consumer group 中的一个consumer实例。Consumer的实例可以运行在不同的进程上,也可以运行在不同的物理机器上。消费者结构如下图:

Kafka架构

消费的顺序保证

在传统的消息队列中,消息按照先后顺序进入队列。然后由多个消费者进行消费,如果多个Consumer存在异步的情况,则会导致先取到的消息后消费,导致消费的顺序无法保证。

这个场景说明,多个Consumer并行进行消费的时候,消息在多个消费之间可能会失去顺序性。

在Kafka中, 为了保证Consumer的并行性和顺序性,采用了一个topic下的一个partition只能由一个Consumer group下的一个实例来消费。这样就保证了一个partition只有个一个消费者,从而保证了顺序性和并发性。

但是也同样会带来一个问题,如果消费者数量多于partirion的话,就会有消费者空闲。,从而造成资源的浪费。

Kafka的文件机制

所以,kafka的最合理的分配机制是partition与consumer的成倍数关系,而且一个partition只能被一个消费者消费。

局部有序和全局有序

上面的说的有序是针对一个消费者在一个partition的中的有序,并不是指全局的有序。 如果kafka想实现全局的有序,一个topic只有一个partition。但全局有序,在实际的业务场景中非常的少,局部有序就能够满足绝大部分要求。

(本文完)

作者:付威

博客地址:http://blog.laofu.online

如果觉得对您有帮助,可以下方的RSS订阅,谢谢合作

如有任何知识产权、版权问题或理论错误,还请指正。

本文是付威的网络博客原创,自由转载-非商用-非衍生-保持署名,请遵循:创意共享3.0许可证

交流请加群113249828: 点击加群   或发我邮件 laofu_online@163.com

付威

获得最新的博主文章,请关注上方公众号