【运维监控】Prometheus+grafana+kafka_exporter监控kafka运行环境

• 运维监控系列文章入口：【运维监控】系列文章汇总索引
  

---

---

• 本示例通过kafka_exporter网络kafka的监控指标，然后将数据网络到prometheus中，末了通过grafana的dashboard导入模板举行可视化。
  
• 本示例分为四个部分，即prometheus、grafana摆设、kafka_exporter摆设与设置和末了的集成。
  
• 阐明：本示例中的摆设环境没有要求，即应用摆设的呆板根据实际环境而定，只要网络连通即可。
  

一、prometheus

参考：【运维监控】prometheus+node exporter+grafana 监控linux呆板运行环境关于prometheus的摆设。
二、grafana

参考：【运维监控】prometheus+node exporter+grafana 监控linux呆板运行环境 关于grafana的摆设。
三、摆设kafka_exporter

通过kafka_exporter 用来网络 Topic、Broker、ConsumerGroup 的相干信息，可以方便对接 prometheus 和 grafana，使用起来比力方便。
相比JMX，kafka_exporter上风在于不须要斲丧 JVM资源，指标网络时间从分钟级别降到秒级别，便于大规模集群的监控。
1、下载

下载地点：https://github.com/danielqsj/kafka_exporter/releases
下载版本：kafka_exporter-1.8.0.linux-amd64.tar.gz
2、解压

1. tar -xvf kafka_exporter-1.8.0.linux-amd64.tar.gz
2. cd kafka_exporter-1.8.0.linux-amd64/
4. [alanchan@server3 bigdata]$ pwd
5. /usr/local/bigdata
6. [alanchan@server3 bigdata]$ ll
7. total 742444
8. drwxr-xr-x  9 alanchan root      4096 Dec 30  2022 kafka_2.12-3.0.0
9. -rw-r--r--  1 alanchan root  10451435 Sep  6 02:49 kafka_exporter-1.8.0.linux-amd64.tar.gz
10. [alanchan@server3 bigdata]$ tar -xvf kafka_exporter-1.8.0.linux-amd64.tar.gz
11. kafka_exporter-1.8.0.linux-amd64/
12. kafka_exporter-1.8.0.linux-amd64/LICENSE
13. kafka_exporter-1.8.0.linux-amd64/kafka_exporter
14. [alanchan@server3 bigdata]$ cd kafka_exporter-1.8.0.linux-amd64
15. [alanchan@server3 kafka_exporter-1.8.0.linux-amd64]$ ll
16. total 19980
17. -rwxr-xr-x 1 alanchan root 20446894 Aug 20 07:06 kafka_exporter
18. -rw-r--r-- 1 alanchan root    11357 Aug 20 07:02 LICENSE

复制代码

3、设置

1个kafka集群只须要1个kafka_exporter，在集群上的恣意1台服务器摆设（视环境而定）。
作者的kafka是一个集群环境，摆设在server1、server2和server3上，kafka_exporter选择摆设在server3上。
kafka_exporter使用默认设置。
4、启动

1. # 收集单个kafka集群的指标
2. cd /usr/local/bigdata/kafka_exporter-1.8.0.linux-amd64
3. ./kafka_exporter --kafka.server=server1:9092
5. [alanchan@server3 kafka_exporter-1.8.0.linux-amd64]$ ./kafka_exporter --kafka.server=server1:9092
6. I0906 06:21:32.330396   28902 kafka_exporter.go:823] Starting kafka_exporter (version=1.8.0, branch=HEAD, revision=477643dd764c46ddd804ac4bd4022be877e3085b)
7. I0906 06:21:32.334258   28902 kafka_exporter.go:994] Listening on HTTP :9308
8. I0906 06:21:59.889927   28902 kafka_exporter.go:678] [server1:9092 server3:9092 server2:9092]
10. # 收集多个kafka集群的指标，以下为示例
11. kafka_exporter --kafka.server=server1:9092 [--kafka.server=another-server ...]
12. kafka_exporter --kafka.server=server1:9092 --kafka.server=server2:9092 --kafka.server=server3:9092

复制代码

5、验证

启动乐成后，可以访问 http://server3:9308/metrics

四、prometheus集成grafana监控kafka

1、修改prometheus设置

在prometheus的设置文件（prometheus.yml）中添加如下设置部分。增长kafka_exporter的网络服务设置，示比方下。

1.   - job_name: "kafka-monitor"
2.     static_configs:
3.       - targets: ["server3:9308"]

复制代码

重启prometheus后，并验证是否网络到监控信息。
检察Prometheus是否监控到运行的kafka应用如下图。

在prometheus中查询网络到的指标数据，如下图所示。

2、导入grafana模板

导入过程不再赘述，参考文章：【运维监控】Prometheus+grafana监控tomcat8.5 运行环境
本示例导入的模板ID是7589(kafka-exporter-overview)。
3、验证

以上所涉及的服务均能正常的运行，以及验证都通过。
导入模板完成后，会表现“No Data”，只有当kafka中有数据的时间，才会在模板中表现具体的指标数据。图示如下。

以上，完成了Prometheus+grafana监控kafka运行环境的示例。