Kafka入门介绍一

服务器：Kafka作为一个或多个服务器的群集运行，这些服务器可以超过多个数据中央或云地域。此中一些服务器构成了存储层，称为署理。其他服务器运行KafkaConnect以连续导入和导出数据作为事件流，用于将Kafka与现有系统（如关系数据库）集成，以及其他Kafka集群。为了让您实现任务关键型用例，Kafka集群具有高度可扩展性容错：如果其任何服务器发生故障，其他服务器将接管其工作以确保连续操作，不会丢失任何数据。
客户端：它们允许您编写可读、写、并并行、大规模和容错的方式处理事件流，即使在网络的情况下也是如此问题或机器故障。Kafka附带了一些如许的客户端，Kafka提供了数十个客户端社区：客户端可用于Java和Scala，包括更高级别的KafkaStreams库、Go、Python、C/C++和很多其他编程语言以及RESTAPI。
重要概念

生产者和斲丧者

生产者

Kafka生产者发送数据时会直接与分区领导者（leader） broker举行交互。
Kafka生产者在发送数据到Kafka集群时，会利用Kafka的分区机制来组织消息。以下是详细过程：

• 元数据哀求：Kafka生产者在初始化或定期检查更新时会从Kafka集群中的恣意节点获取元数据信息，包括哪些服务器是活动的以及每个主题分区的领导者在那里。
  
• 序列化与分区选择：在发送消息之前，生产者会将消息键和值序列化成字节数组。然后，生产者根据ProducerRecord对象指定的信息来决定消息应该发送到哪个分区。如果指定了分区，则消息会被发送到该分区；如果没有指定分区但提供了键，则会使用键的哈希值与分区数取余的方式来确定分区；如果只存在值而没有键和分区指定，Kafka内部会接纳Sticky partition策略随机选择一个分区。
  
• 发送消息：Kafka生产者将创建的ProducerRecord对象包装好的消息发送给对应的分区领导者broker。这个过程是异步的，由一个独立线程负责管理批次并将它们发送到相应的broker上。
  
• 领导者负责：由于Kafka接纳领导者复制机制，生产者只需将数据发送至分区的领导者副本，领导者副本负责处理消息的存储和复制到跟随者副本（follower）。
  

斲丧者

Kafka斲丧者的工作方式是通过向Kafka broker发送“fetch”哀求来拉取(pull)数据，不是推送(push)模式。以下是Kafka斲丧者的工作机制和特点：

• 拉取数据：斲丧者主动从broker拉取数据，即接纳pull模式。这种方式允许斲丧者以自己的速率处理数据，避免了因为broker推送消息过快而导致斲丧者处理不过来的问题。
  
• 指定偏移量：在拉取数据时，斲丧者可以在哀求中指定从哪个偏移量开始斲丧日志。这给了斲丧者很大的灵活性，它可以选择从当前偏移量开始斲丧，也可以选择从之前的某个偏移量开始重新斲丧数据。
  
• 分区分配策略：Kafka中的数据被分成多个分区，斲丧者可以斲丧多个分区的数据，但每个分区的数据只能被斲丧者组中的一个斲丧者斲丧。Kafka提供了差异的分区分配策略，如Range分配策略、RoundRobin分配策略和Sticky分配策略等。
  
• 斲丧者组：当一个主题的数据量很大时，可以通过斲丧者组来实现横向扩展。斲丧者组中的每个斲丧者可以斲丧差异分区的数据，从而实现负载平衡。在同一个斲丧者组中，每个分区只能被一个斲丧者斲丧，以避免重复处理数据。
  
• 位移提交和存储：斲丧者在斲丧数据时会维护一个偏移量（offset），体现它在分区中斲丧到了哪个位置。这个偏移量需要定期提交给Kafka，以便在服务重启或故障规复时可以或许从准确的位置继续斲丧。
  
• 再平衡机制：当斲丧者组中的斲丧者数量发生变化时，Kafka会自动举行分区的重新分配，这个过程称为再平衡（rebalance）。再平衡确保了每个分区都有斲丧者负责，且每个斲丧者都能公平地分担负载。
  
• 拦截器和反序列化：Kafka斲丧者提供了拦截器（Interceptor）机制，允许开辟者在数据处理过程中插入自定义逻辑。此外，斲丧者还需要对从Kafka吸收到的消息举行反序列化，将其转换为应用程序可以理解的数据格式。
  
• 斲丧进度监控：为了确保数据处理的稳固性和可靠性，监控系统通常会跟踪斲丧者的斲丧进度，包括当前的偏移量、斲丧速率等信息。
  

主题（Topic）与分区（Partition）

，Kafka 通过主题（Topic）来组织消息，每个主题可以看作是一个独立的消息队列。为了提高系统的可伸缩性和性能，Kafka 接纳了分区（Partition）机制。
在 Kafka 中，每个主题被分割成多个分区。
这些分区有以下特点和优势：

• 并行处理：分区允许 Kafka 主题并行地处理数据。差异的分区可以在差异的服务器（Broker）上举行处理，这意味着一个主题可以扩展到多个服务器以容纳更多的数据或处理更高的吞吐量。
  
• 分区复制：为了保证高可用性，每个分区可以有多个副本。在这些副本中，会选出一个作为领导者（Leader），而其他的则是跟随者（Follower）。领导者负责处理所有的读写哀求，跟随者则同步领导者的数据。如果领导者发生故障，跟随者中的一个会被提拔为新的领导者。
  
• 负载平衡：分区还允许 Kafka 举行负载平衡。生产者可以将消息匀称地发送到差异的分区，斲丧者组内的每个斲丧者可以斲丧差异分区的数据，从而实现负载的分散。
  
• 有序性保证：虽然分区允许并行处理，但在单个分区内，消息是按照它们进入的顺序存储的。这意味着对于单个斲丧者来说，即使在并行斲丧的情况下，从单个分区中读取的消息也是有序的。
  
• 灵活的斲丧者偏移量管理：斲丧者组中的每个斲丧者维护着自己的偏移量（Offset），这个偏移量标记了它已经斲丧到了分区中的哪个位置。这使得斲丧者可以在服务重启或故障规复时从准确的位置继续斲丧，而不是重新开始。
  
• 扩展性：随着系统需求的增长，可以通过增加服务器数量和公道配置分区数量来程度扩展 Kafka 集群。
  

Broker 和集群（Cluster）

一个 Kafka Broker 可以或许处理成千上万的分区和百万量级的消息。
Kafka 的计划允许单个 Broker 具有高效的数据处理能力，这得益于以下几个方面：

• 顺序磁盘I/O：Kafka 在写消息数据时，会为每个分区创建一个文件，并将数据顺序地追加到该文件对应的磁盘空间中。这种顺序写入的方式充实利用了磁盘的顺序访问性能，相比随机访问要高效得多。
  
• 分区和并行处理：Kafka 通过将主题分为多个分区，并在差异的 Broker 上分布这些分区，实现了应用级别的程度扩展。如许，差异的分区可以并行地在差异的 Broker 上举行处理，从而提高了整体的处理能力。
  
• 高效的网络通讯模型：Kafka 计划了一个高效的网络通讯模型来处理它与生产者（Producer）和斲丧者（Consumer）之间的消息传递问题。这个模型对于保持高性能至关重要。
  
• 监控和度量指标：为了确保 Broker 的性能和稳固性，Kafka 提供了一系列的服务端度量指标，用于监控 Broker 的状态。这些指标包括 Kafka 本身的指标和主机层面的指标，有助于及时发现并解决可能出现的问题。
  
• 集群的扩缩容能力：Kafka 集群可以通过增删 Broker 来简朴地实现整个集群的扩缩容，这使得根据实际需求调解系统性能成为可能。
  

动手搭建kafka

1.下载压缩包

下载并解压，下载地点

1. $ tar -xzf kafka_2.13-3.6.1.tgz
2. $ cd kafka_2.13-3.6.1

复制代码

2.启动kafka

注意：您的本地环境必须安装 Java 8+。
Apache Kafka 可以使用 ZooKeeper 或 KRaft 启动。要开始使用任一配置，请遵循以下部分之一，但不能同时实行两者。
使用 ZooKeeper 的 Kafka

1. 配置 zookeeper地点

修改config/server.properties文件，修改如下配置：

1. zookeeper.connect=127.0.0.1:2181

复制代码

2.添加对外暴漏ip

修改config/server.properties文件，添加以下配置：

1. # 允许外部端口连接
2. listeners=PLAINTEXT://0.0.0.0:9092  
3. # 外部代理地址
4. advertised.listeners=PLAINTEXT://[本机ip]:9092

复制代码

运行以下命令启动kafka

1. $ bin/kafka-server-start.sh config/server.properties

复制代码

使用 KRaft 的 Kafka

生成集群 UUID

1. $ KAFKA\_CLUSTER\_ID="$(bin/kafka-storage.sh random-uuid)"

复制代码