Kafka架构及基本概念

时间：09-06来源：作者：点击数：

#前言

刚开始了解Kafka时对其中多个名词表示懵逼，broker是啥？咋还有分区？有没有跟和我一样有很多？？？本文就我对Kafka的理解梳理各个角色以及功能，欢迎大家一起来沟通交流。

废话不多说，上图：

Kafka架构模型

按照自己的理解画一个简单的Kafka架构模型，下面分别说明Zookeeper、Produce、Broker、Replica、Customer、Customer Group 、Topic、Partition在Kafka中的作用以及如何交互。当然，功能远远不止这些。

作为生产者，它的作用就是将消息成功发送指定的Topic中，消息投递的可靠度、顺序性由Produce决定。

可靠度：Produce在生产消息时通过设置ACK来决定消息的可靠度。 — 当ACK为0时，不保证消息是否投递成功。 — 当ACK为1时（默认），分区leader接收到消息视为投递成功。 — 当ACK为-1时，分区leader和在同步的副本（ISR）接收到消息视为投递成功，取而代之的是生产效率。
顺序性：kafka不限制生产者的个数，要确保顺序，单个topic或partition的生产者不可以多线程或者多客户端🤗️。如下图，当有两个生产客户端是无法知道哪个消息先到达的。

er其实就是Kafka服务启动后的一个进程，是一个物理节点，启动几个Kafka就有几个Broker。作为消息的中介，接收producer往指定的topic中写消息，提供consumer拉取指定topic的消息，除此之外还承担以下几个职责：
Broker集群中有一个节点作为Controller负责Broker成员管理、Topic维护和Partition的管理。
负责分区数据的持久化和维护。Broker将每个分区的数据按照segment划分，每个segment存放log、offset索引、时间戳索引3个物理文件，以提高数据的读取效率。

Topic被称为主题，在kafka中是一个逻辑概念，物理上同一个Topic的消息会存储在不同个broker上，真正意义上的分布式消息中间件。通常以topic划分消息所属类别，起业务隔离作用。

如上图所示，Broker以Topic为单位将消息分摊在不同分区，每个分区都有leader和副本。那为什么会有分区？这是因为如果topic内的消息只存储于一个broker，那这个broker终会成为瓶颈，无法做到水平扩展。此外在分区使用中需要注意的事项：

kafka的副本机制指的是分区的副本而不是broker，副本通常存放在和leader不同的broker中。如上述Partition注意事项2，副本如何同步数据以保证数据的可靠性和一致性？

分区leader会动态维护一个与之保持同步的副本列表ISR（In-sync Replicas），如果一个副本同步未达到阈值要求或宕机会被移除至OSR（Outof-sync Replicas），kafka要保证不丢失消息，就要保证ISR列表中至少有一个存活。如下图所示：

ISR机制
副本以pull的方式拉取数据进行同步，每个副本都会维护自己的HW（High Watermark）和LEO(Last End Offset)保持数据同步。 — 当ACK为-1时所有ISR节点的HW和LEO会保持一致。 — 当ACK为0或1时，可能会因为leader节点的宕机，未同步、消费的数据会丢失。如下图，当leader节点宕机黄色节点的数据会丢失。

费者负责订阅 Kafka 中的Topic，按照Offset进行拉取消费。