怎样使用观测云监测 AutoMQ 集群状态

01
前言
观测云
观测云 [1] 是一款专为云平台、云原生、应用及业务相干需求计划的同一实时监测应用，集成了指标、日记和追踪三大信号，覆盖测试、预发和生产情况，实现对软件开发全生命周期的可观测性。通过观测云，企业可以大概构建完备的应用全链路可观测性，提拔团体 IT 架构的透明度和可控性。作为一个强大的数据分析平台，观测云包罗多个焦点模块，如 DataKit [2] 同一数据收罗器和 DataFlux Func 数据处理处罚开发平台。

可观测性的数据活动
AutoMQ
AutoMQ [3]，是基于云原生理念重新计划的新一代 Apache Kafka 发行版，在 100% 兼容 Apache Kafka 协议的条件下提供了高达 10 倍的本钱上风和弹性上风。而且 AutoMQ 将数据完全存储在 S3 上，因此在集群扩容时无需数据复制即可快速应对突发的流量洪峰。相比之下，Apache Kafka 在扩容后必要大量带宽举行分区数据的复制，难以应对突发流量。通过主动扩缩容、主动流量均衡和主动故障规复等功能，AutoMQ 实现了体系的高度自治，无需人工干预即可实现更高程度的可用性。AutoMQ 的共享存储结构：

02
AutoMQ 的可观测接口
由于 AutoMQ 对 Kafka 的完全兼容，而且支持开放基于 Prometheus 的 Metrics 网络端口，因此可以使用观测云提供的数据收罗工具 DataKit 与观测云平台举行集成。方便用户对 AutoMQ 集群的状态举行监测和管理，而且观测云平台支持用户自界说地对 Metrics 数据举行聚合以及查询，通过给定的仪表盘模板大概自界说仪表盘，我们可以有效地对 AutoMQ 集群的各种信息举行统计，好比常见 Topics, Brokers, Partitions 以及 Group 统计数据。
除此之外，根据 Metrics 可观测数据，我们也可以查询到 AutoMQ 集群运行过程中遇到的错误情况以及当前体系的各种占用指标，如 JVM CPU 占用，JVM 堆占用和缓存巨细，这些指标都可以大概资助我们在集群发送非常的情况下，敏捷的发现题目并举行办理，这对于体系的高可用和快速规复都黑白常有利的。接下来，我将先容怎样使用观测云平台举行 AutoMQ 集群状态的监测。
03
*集成观测云的步调 *
AutoMQ 开启 Metric 拉取接口
参考 AutoMQ 文档：集群方式摆设 | AutoMQ [4] 摆设启动前，添加如下设置参数开启 Prometheu的拉取接口。通过以下参数启动 AutoMQ 集群以后，每个节点将会额外开放一个 HTTP 接供词我们拉取 AutoMQ 的监控指标。指标的格式均遵照 Prometheus Metrics 的格式。

1. bin/kafka-server-start.sh ...
2. --override  s3.telemetry.metrics.exporter.type=prometheus
3. --override  s3.metrics.exporter.prom.host=0.0.0.0
4. --override  s3.metrics.exporter.prom.port=8890
5. ....

复制代码

当启用 AutoMQ 监控指标后，可以在恣意一台节点上通过 HTTP 协议拉取到 Prometheus 格式的监控指标，地点为：http://{node_ip}:8890，相应结果示比方下：

1. ....
2. kafka_request_time_mean_milliseconds{otel_scope_name="io.opentelemetry.jmx",type="DescribeDelegationToken"} 0.0 1720520709290
3. kafka_request_time_mean_milliseconds{otel_scope_name="io.opentelemetry.jmx",type="CreatePartitions"} 0.0 1720520709290
4. ...

复制代码

关于指标先容，可以参考 AutoMQ 官网文档：Metrics | AutoMQ [5] 。
安装和设置 DataKit 收罗工具
DataKit 是一款由观测云提供的开源的监控收罗工具，支持 Promethues Metrics 的拉取。我们可以通过 DataKit 来拉取 AutoMQ 上的监控数据汇总到观测云平台。
安装 DataKit 工具
Tips: 更多 DataKit 安装细节参考文档：主机安装 - 观测云文档 [6]。
起首，注册观测云账号并登录，随后在主界面点击左侧「集成」选择顶部「DataKit」，即可看到 DataKit 的安装下令：

1. DK_DATAWAY="https://openway.guance.com?token=<TOKEN>" bash -c "$(curl -L https://static.guance.com/datakit/install.sh)"

复制代码

拷贝以上下令，在集群中的全部节点上运行 DataKit 的安装下令完成安装。
Tips: 集群中全部必要被监控的 Broker 都必要安装 DataKit.
实验安装下令乐成后使用下令datakit monitor可以验证 DataKit 是否乐成安装。

AutoMQ 收罗器设置与收效
这里我们要在每个待收罗数据的节点所在的服务器上设置好 DataKit 的 AutoMQ 收罗器设置。进入目次/usr/local/datakit/conf.d/prom，创建一个收罗器设置文件 prom.conf。收罗器设置会包罗开放的可观测数据接口、收罗器名称、prom 实例名以及告急的收罗隔断 interval 等，你可以根据必要对每个服务器上的设置举行一些调解：

1.  [[inputs.prom]]
2.  
3.  urls = ["http://clientIP:8890/metrics"]   # clientIP 为你自己的服务器地址
4.  source = "AutoMQ"
6.  ## Keep Exist Metric Name
7.  ## If the keep_exist_metric_name is true, keep the raw value for field names.
8.  keep_exist_metric_name = true
10.  [inputs.prom.tags_rename]
11.    overwrite_exist_tags = true
13.  [inputs.prom.tags_rename.mapping]
14.    service_name = "job"
15.    service_instance_id = "instance"
17.  [inputs.prom.tags]
18.    component="AutoMQ"
19.  interval = "10s"

复制代码

调解参数阐明 ：

实验 datakit service -R 重启该节点的 DataKit 收效收罗器设置。
04
通过观测云可视化管理 AutoMQ 集群
观测云平台已经集成了 AutoMQ 而且提供了多个默认的仪表盘，可从前往 仪表盘示例 [7] 查察。下面是此中几种常用模板示例，我们先容一下他们的功能：
集群监控
重要表现的是当前活泼 Broker 的数目，以及总的 Topics 数目、Partitions 分区数目等，除此之外，我们也可以指定具体查询哪个节点，这个可以在 Cluster_id 里选择。

通过监测 Kafka 集群的状态，我们可以实时发现并办理埋伏的题目，如节点故障、磁盘空间不敷、网络延伸等，以包管体系更加可控稳固。
Broker 监控
观测云的 AutoMQ Broker 仪表盘形貌了全部 Broker 的一些指标、好比毗连数、分区数、每秒担当到的消息数目 ops 以及每秒输入和输出的数据量，单元是 Byte。

Topic 监控
这里就是对于全部节点中包罗的全部 Topic 的信息总览了，固然你也可以像上面先容的那样，指定查询某个节点下的 Topic 信息。这些指标重要包罗每个 Topic 占用的空间巨细，以及担当到的消息数目，另有 Request Throughput 表现单元时间内处理处罚哀求的本领。

至此，我们通过观测云乐成监测了 AutoMQ 集群状态，而且仪表盘中的数据都是由 Metrics 指标举行聚合或查询的方式得到的。
05
总结
本文我们先容了怎样将观测云平台与 AutoMQ 完善地团结在一起，完成对 AutoMQ 集群状态信息的监测，实在另有更多进一步的高级利用，好比自界说的报警功能，自界说的数据查询等，这些都可以通过官方给出的规则举行 DIY，你可以手动试验一下这些利用，信赖你会找到适当你的需求。同时也盼望这篇文章可以大概在你团结观测云平台和 AutoMQ 时有所资助！
引用
[1] 观测云：https://docs.guance.com/getting-started/product-introduction/
[2] DataKit: https://docs.guance.com/datakit/
[3] AutoMQ: https://www.automq.com
[4] 集群方式摆设 AutoMQ：https://docs.automq.com/zh/docs/automq-opensource/IyXrw3lHriVPdQkQLDvcPGQdnNh
[5] 主机安装 - 观测云文档：https://docs.guance.com/datakit/datakit-install/
[6] Metrics | AutoMQ：https://docs.automq.com/zh/docs/automq-opensource/ArHpwR9zsiLbqwkecNzcqOzXn4b
[7] 仪表盘示例：https://console.guance.com/scene/dashboard/createDashboard?w=wksp_63b96920660e4962a07429b65ef163e7&la+k=Scene
END
关于我们
我们是来自 Apache RocketMQ 和 Linux LVS 项目的焦点团队，曾经见证并应对过消息队列底子办法在大型互联网公司和云盘算公司的挑衅。如今我们基于对象存储优先、存算分离、多云原生等技能理念，重新计划并实现了 Apache Kafka 和 Apache RocketMQ，带来高达 10 倍的本钱上风和百倍的弹性服从提拔。
🌟 GitHub 地点：https://github.com/AutoMQ/automq
💻 官网：https://www.automq.com?utm_source=openwrite