马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
×
0.网页控制台
Offset Explorer 毗连kafka 检察某个topic 队列里的json内容, 如果已经被消耗了, 依然能检察到 ,为什么?
触及了 Kafka 一个非常焦点且奥妙的筹划理念。简朴来说，消息被消耗后并不会立即从 Kafka 中删除。
为了让你更清晰地明确这背后的原理和各个环节，下面我用一个表格来梳理关键概念，然后再具体表明其工作机制。
焦点概念
表明
与检察汗青消息的关系
消息留存机制
Kafka 将消息长期化存储在磁盘上，并根据时间（默认7天）或日记巨细计谋举行整理，而非依据是否被消耗
根本缘故起因：只要消息在留存期内，纵然已被消耗，也依然物理存在于磁盘上。
消耗者偏移量 (Offset)
一个用于记载消耗者组在每个分区中当前消耗位置的元数据
关键区别：消耗运动只是更新这个“书签”，而非删除消息。Offset Explorer 检察消息不受此“书签”限定。
__consumer_offsets Topic
Kafka 内部的一个特殊主题，专门用于生存全部消耗者组的偏移量数据 脚色：存储消耗进度，与消息本身存储位置完全分离。
1.主动创建：Kafka 也支持在消息生产者第一次发送消息到一个不存在的主题时，主动创建该主题。这种方式默认启用，但它依赖于 Kafka 的 auto.create.topics.enable 设置项，默认值是 true。这种方式并不保举用于生产环境，由于主动创建的主题设置通常不敷机动，大概会带来一些潜伏的设置标题。
2.Kafka可视化工具 创建topic, 页面中指定主题的名称、分区数、副本数
- 分区数为 3：这个主题有 3 个分区。每个分区的数据将分散在差异的 Kafka broker 上。
- 副本数为 2：每个分区会有 2 个副本，也就是在差异的 broker 上会存储该分区的数据副本。纵然一个 broker 失败，数据依然可以从其他副本规复。
数据的存储是基于 主题（Topic） 和 分区（Partition） 的
Kafka是一个高可靠性的分布式消息体系，广泛应用于大规模数据处置惩罚和及时, 为了更方便地管理和监控 Kafka集群，开发职员和运维职员常常须要利用可视化工具。
1. Offset Explorer 下载地点
2.利用Offset Explorer 3.0.1 毗连kafka集群
3.检察值是Byte Array不是Json怎么办?
|
发表于 2025-11-19 10:47:07