Kafka 4.0 发布，彻底移除 ZooKeeper！

迩来 Apache Kafka 4.0 版本发布，这是 Kafka 的一个告急里程碑。Kafka 移除 ZooKeeper 早在几年前就开始预备，4.0 版本是第一个可以完全不利用 ZooKeeper 的版本。
Kafka 4.0 默认允许在 KRaft 模式下，大大简化了集群的摆设和管理，消除了集成 ZooKeeper 的复杂性。
在 KRaft 模式下，一些设置、指标和功能发生了不小的厘革，本日我们来看一下都有哪些改变。
删除了暗码编码相干的设置
这些设置在 ZooKeeper 模式下利用，用来界说和备份暗码，这个密钥用于加密加密敏感数据（如暗码）。须要指定加密的算法和密钥天生方法（如 AES、RSA），并控制密钥长度和加密强度。相干参数如下：

2. password.encoder.secret
3. password.encoder.old.secret
4. password.encoder.keyfactory.algorithm
5. password.encoder.cipher.algorithm
6. password.encoder.key.length
7. password.encoder.iterations

复制代码

在 KRaft 模式下，Kafka 将敏感数据存储在 records，这些敏感数据不须要加密。
移除下面设置

2. Removed control.plane.listener.name

复制代码

Kafka 依赖 ZooKeeper 管理元数据，但是一些内部操纵（比如 Broker Controller 宁静凡 Broker 之间通讯）依然须要 Kafka 内部控制面板来和谐。
在 KRaft 模式下，Kafka 消除了对 ZooKeeper 的依赖，控制面板功能完全集成到 Kafka 内部。处理处罚脚色明白分开：brokers 处理处罚与数据相干的哀求，而 broker controllers 管理跟元数据相干的哀求。controllers 利用 Raft 协议举行内部通讯，操纵方式与 ZooKeeper 模子差异。利用以下参数来设置控制面板监听器：

2. controller.listener.names
3. listeners
4. listener.security.protocol.map

复制代码

删除优雅停服相干设置
利用外部注册中央，多数情况是须要设置优雅停服的。这些设置在 ZooKeeper 模式下用于界说主动停服的最大重试次数和重试回退时间。它可以低落不测 Controller 变动和数据不同等的风险。

2. controlled.shutdown.max.retries
3. controlled.shutdown.retry.backoff.ms

复制代码

在 KRaft 模式下，Kafka 利用 Raft 协议来管理元数据。Broker 关闭过程跟基于仲裁模式的 ZooKeeper 模式差异。Raft 协议的 Controller 切换依赖主动领导者切换，元数据由 Controller 更新，关闭过程更加可靠和高效。
删除了天生 Broker id 相干的设置
这些设置在 ZooKeeper 模式下用于主动天生 Broker id 并控制 Broker id 天生过程。

2. reserved.broker.max.id
3. broker.id.generation.enable

复制代码

node id
Kafka在 KRaft 模式下利用 node id 来标识 server。

2. node.id

复制代码

删除了 Broker 协议版本相干的设置

2. inter.broker.protocol.version

复制代码

这些设置在 ZooKeeper 模式下用于界说 Broker 之间的通讯协议版本。在 KRaft 模式下，Kafka 利用 metadata.version 来控制集群的特性级别，而且可以利用 bin/Kafka-features.sh 脚本举行管理。
移除 ZooKeeper 相干的动态设置

2. advertised.listeners

复制代码

在 KRaft 模式下，要修改这些设置，就须要重启 Broker。
删除了领导者不平衡设置

2. leader.imbalance.per.broker.percentage

复制代码

这个设置只在 ZooKeeper 中利用。用于限定 ZooKeeper 中的推选领导者的频率。
移除 ZooKeeper 相干设置

2. zookeeper.connect
3. zookeeper.session.timeout.ms
4. zookeeper.connection.timeout.ms
5. zookeeper.set.acl
6. zookeeper.max.in.flight.requests
7. zookeeper.ssl.client.enable
8. zookeeper.clientCnxnSocket
9. zookeeper.ssl.keystore.location
10. zookeeper.ssl.keystore.password
11. zookeeper.ssl.keystore.type
12. zookeeper.ssl.truststore.location
13. zookeeper.ssl.truststore.password
14. zookeeper.ssl.truststore.type
15. zookeeper.ssl.protocol
16. zookeeper.ssl.enabled.protocols
17. zookeeper.ssl.cipher.suites
18. zookeeper.ssl.endpoint.identification.algorithm
19. zookeeper.ssl.crl.enable
20. zookeeper.ssl.ocsp.enable

复制代码

删除了 ZooKeeper 相干监控指标
下面参数监控网络处理处罚器匀称空闲率：

2. ControlPlaneNetworkProcessorAvgIdlePercent

复制代码

下面指标监控全部处理处罚器上断开的毗连总数：

2. ControlPlaneExpiredConnectionsKilledCount

复制代码

在 KRaft 模式下，Kafka 提供了网络处理处罚器毗连逾期指标。指标如下：

2. NetworkProcessorAvgIdlePercent
3. ExpiredConnectionsKilledCount

复制代码

删除了 ZooKeeper 独有指标

2. kafka.controller:type=ControllerChannelManager,name=QueueSize
3. kafka.controller:type=ControllerChannelManager,name=RequestRateAndQueueTimeMs
4. kafka.controller:type=ControllerEventManager,name=EventQueueSize
5. kafka.controller:type=ControllerEventManager,name=EventQueueTimeMs
6. kafka.controller:type=ControllerStats,name=AutoLeaderBalanceRateAndTimeMs
7. kafka.controller:type=ControllerStats,name=ControlledShutdownRateAndTimeMs
8. kafka.controller:type=ControllerStats,name=ControllerChangeRateAndTimeMs
9. kafka.controller:type=ControllerStats,name=ControllerShutdownRateAndTimeMs
10. kafka.controller:type=ControllerStats,name=IdleRateAndTimeMs
11. kafka.controller:type=ControllerStats,name=IsrChangeRateAndTimeMs
12. kafka.controller:type=ControllerStats,name=LeaderAndIsrResponseReceivedRateAndTimeMs
13. kafka.controller:type=ControllerStats,name=LeaderElectionRateAndTimeMs
14. kafka.controller:type=ControllerStats,name=ListPartitionReassignmentRateAndTimeMs
15. kafka.controller:type=ControllerStats,name=LogDirChangeRateAndTimeMs
16. kafka.controller:type=ControllerStats,name=ManualLeaderBalanceRateAndTimeMs
17. kafka.controller:type=KafkaController,name=MigratingZkBrokerCount
18. kafka.controller:type=ControllerStats,name=PartitionReassignmentRateAndTimeMs
19. kafka.controller:type=ControllerStats,name=TopicChangeRateAndTimeMs
20. kafka.controller:type=ControllerStats,name=TopicDeletionRateAndTimeMs
21. kafka.controller:type=KafkaController,name=TopicsIneligibleToDeleteCount
22. kafka.controller:type=ControllerStats,name=TopicUncleanLeaderElectionEnableRateAndTimeMs
23. kafka.controller:type=ControllerStats,name=UncleanLeaderElectionEnableRateAndTimeMs
24. kafka.controller:type=ControllerStats,name=UncleanLeaderElectionsPerSec
25. kafka.controller:type=ControllerStats,name=UpdateFeaturesRateAndTimeMs
26. kafka.controller:type=ControllerStats,name=UpdateMetadataResponseReceivedRateAndTimeMs
27. kafka.controller:type=KafkaController,name=ActiveBrokerCount
28. kafka.controller:type=KafkaController,name=ActiveControllerCount
29. kafka.controller:type=KafkaController,name=ControllerState
30. kafka.controller:type=KafkaController,name=FencedBrokerCount
31. kafka.controller:type=KafkaController,name=GlobalPartitionCount
32. kafka.controller:type=KafkaController,name=GlobalTopicCount
33. kafka.controller:type=KafkaController,name=OfflinePartitionsCount
34. kafka.controller:type=KafkaController,name=PreferredReplicaImbalanceCount
35. kafka.controller:type=KafkaController,name=ReplicasIneligibleToDeleteCount
36. kafka.controller:type=KafkaController,name=ReplicasToDeleteCount
37. kafka.controller:type=KafkaController,name=TopicsToDeleteCount
38. kafka.controller:type=KafkaController,name=ZkMigrationState
39. kafka.server:type=DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=ElectLeader
40. kafka.server:type=DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=topic
41. kafka.server:type=DelayedOperationPurgatory,name=NumDelayedOperations,delayedOperation=ElectLeader
42. kafka.server:type=DelayedOperationPurgatory,name=NumDelayedOperations,delayedOperation=topic
43. kafka.server:type=SessionExpireListener,name=SessionState
44. kafka.server:type=SessionExpireListener,name=ZooKeeperAuthFailuresPerSec
45. kafka.server:type=SessionExpireListener,name=ZooKeeperDisconnectsPerSec
46. kafka.server:type=SessionExpireListener,name=ZooKeeperExpiresPerSec
47. kafka.server:type=SessionExpireListener,name=ZooKeeperReadOnlyConnectsPerSec
48. kafka.server:type=SessionExpireListener,name=ZooKeeperSaslAuthenticationsPerSec
49. kafka.server:type=SessionExpireListener,name=ZooKeeperSyncConnectsPerSec
50. kafka.server:type=ZooKeeperClientMetrics,name=ZooKeeperRequestLatencyMs

复制代码

末了
移除了这么多设置，摆设不消再思量 ZooKeeper，架构上整齐了太多。