Linux云盘算SRE-第二十一周

构建单节点prometheus，摆设node exporter和mongo exporter。构建kibana大盘。包罗主机PU利用率，主机MEM利用率，主机网络包速率。mongo db大盘，包罗节点在线状态，读操纵耽误等

一、实验环境预备

- 节点信息：
  - node0 (10.0.0.100)：Prometheus、Grafana、node exporter
  - node1 (10.0.0.110)：node exporter
  - node2 (10.0.0.120)：MongoDB、mongo exporter
二、

#1. 安装 Prometheus 和 Grafana

2. 操作步骤：
3. #在 node0 上安装 Prometheus（官方二进制包）
4. wget https://github.com/prometheus/prometheus/releases/download/v2.53.3/prometheus-2.53.3.linux-amd64.tar.gz
5. tar -xvf prometheus-2.53.3.linux-amd64.tar.gz
6. mv prometheus-2.53.3.linux-amd64 /opt/prometheus
7. ln -s /opt/prometheus/prometheus /usr/local/bin/
8. ln -s /opt/prometheus/promtool /usr/local/bin/
9. #浏览器访问:
10. http://10.0.0.100:9090/
11. #创建service服务文件
12. tee /etc/systemd/system/prometheus.service <<EOF
13. [Unit]
14. Description=Prometheus Server
15. Documentation=https://prometheus.io/docs/introduction/overview/
16. After=network.target
18. [Service]
19. Type=simple
20. User=root
21. Group=root
22. ExecStart=/opt/prometheus/prometheus \
23.   --config.file=/opt/prometheus/prometheus.yml \
24.   --storage.tsdb.path=/opt/prometheus/data
25. ExecReload=/bin/kill -HUP \$MAINPID
26. Restart=on-failure
28. [Install]
29. WantedBy=multi-user.target
30. EOF
32. #重新加载 systemd 管理器配置
33. systemctl daemon-reload
34. #启动并设置开机自启
35. systemctl start prometheus
36. systemctl enable prometheus
38. #安装 Grafana（官方仓库）
39. curl -fsSL https://apt.grafana.com/gpg.key | gpg --dearmor -o /usr/share/keyrings/grafana.gpg
40. echo "deb [signed-by=/usr/share/keyrings/grafana.gpg] https://apt.grafana.com stable main" | tee /etc/apt/sources.list.d/grafana.list
41. apt update && apt install -y grafana
42. systemctl enable --now grafana-server

复制代码

#2. 安装 node exporter

脚本 `install_node_exporter.sh`：

2. #!/bin/bash
4. NODE_EXPORTER_VERSION=1.9.0
6. NODE_EXPORTER_FILE="node_exporter-${NODE_EXPORTER_VERSION}.linux-amd64.tar.gz"
7. NODE_EXPORTER_URL=https://github.com/prometheus/node_exporter/releases/download/v${NODE_EXPORTER_VERSION}/${NODE_EXPORTER_FILE}
8. INSTALL_DIR=/usr/local
10. HOST=`hostname -I|awk '{print $1}'`
12. . /etc/os-release
14. msg_error() {
15.   echo -e "\033[1;31m$1\033[0m"
16. }
18. msg_info() {
19.   echo -e "\033[1;32m$1\033[0m"
20. }
22. msg_warn() {
23.   echo -e "\033[1;33m$1\033[0m"
24. }
26. color () {
27.     RES_COL=60
28.     MOVE_TO_COL="echo -en \\033[${RES_COL}G"
29.     SETCOLOR_SUCCESS="echo -en \\033[1;32m"
30.     SETCOLOR_FAILURE="echo -en \\033[1;31m"
31.     SETCOLOR_WARNING="echo -en \\033[1;33m"
32.     SETCOLOR_NORMAL="echo -en \E[0m"
33.     echo -n "$1" && $MOVE_TO_COL
34.     echo -n "["
35.     if [ $2 = "success" -o $2 = "0" ] ;then
36.         ${SETCOLOR_SUCCESS}
37.         echo -n $"  OK  "   
38.     elif [ $2 = "failure" -o $2 = "1"  ] ;then
39.         ${SETCOLOR_FAILURE}
40.         echo -n $"FAILED"
41.     else
42.         ${SETCOLOR_WARNING}
43.         echo -n $"WARNING"
44.     fi
45.     ${SETCOLOR_NORMAL}
46.     echo -n "]"
47.     echo
48. }
50. install_node_exporter () {
51.     if [ ! -f  ${NODE_EXPORTER_FILE} ] ;then
52.         wget ${NODE_EXPORTER_URL} ||  { color "下载失败!" 1 ; exit ; }
53.     fi
54.     [ -d $INSTALL_DIR ] || mkdir -p $INSTALL_DIR
55.     tar xf ${NODE_EXPORTER_FILE} -C $INSTALL_DIR
56.     cd $INSTALL_DIR &&  ln -s node_exporter-${NODE_EXPORTER_VERSION}.linux-amd64 node_exporter
57.     mkdir -p $INSTALL_DIR/node_exporter/bin
58.     cd $INSTALL_DIR/node_exporter &&  mv node_exporter bin/
59.         id prometheus &> /dev/null || useradd -r -s /sbin/nologin prometheus
60.         chown -R prometheus.prometheus ${INSTALL_DIR}/node_exporter/
61.        
62.       
63.     cat >  /etc/profile.d/node_exporter.sh <<EOF
64. export NODE_EXPORTER_HOME=${INSTALL_DIR}/node_exporter
65. export PATH=\${NODE_EXPORTER_HOME}/bin:\$PATH
66. EOF
68. }
70. node_exporter_service () {
71.     cat > /lib/systemd/system/node_exporter.service <<EOF
72. [Unit]
73. Description=Prometheus Node Exporter
74. After=network.target
76. [Service]
77. Type=simple
78. ExecStart=$INSTALL_DIR/node_exporter/bin/node_exporter
79. ExecReload=/bin/kill -HUP \$MAINPID
80. Restart=on-failure
81. User=prometheus
82. Group=prometheus
84. [Install]
85. WantedBy=multi-user.target
86. EOF
87.     systemctl daemon-reload
88.     systemctl enable --now node_exporter.service
89. }
91. start_node_exporter() {
92.     systemctl is-active node_exporter.service
93.     if [ $?  -eq 0 ];then  
94.         echo
95.         color "node_exporter 安装完成!" 0
96.         echo "-------------------------------------------------------------------"
97.         echo -e "访问链接: \c"
98.         msg_info "http://$HOST:9100/metrics"
99.     else
100.         color "node_exporter 安装失败!" 1
101.         exit
102.     fi
103. }
105. install_node_exporter
107. node_exporter_service
109. start_node_exporter

复制代码

摆设下令：

2. #在 node0、node1、node2 上执行
3. bash install_node_exporter.sh
4. scp install_node_exporter.sh node1:/root
5. scp install_node_exporter.sh node2:/root
6. ssh node1 "bash install_node_exporter.sh"
7. ssh node2 "bash install_node_exporter.sh"

复制代码

#3. 安装 MongoDB 和 mongo exporter

操纵步调：

2. #在 node2 上安装 MongoDB
3. curl -fsSL https://www.mongodb.org/static/pgp/server-8.0.asc | gpg -o /usr/share/keyrings/mongodb-server-8.0.gpg --dearmor
4. echo "deb [ arch=amd64 signed-by=/usr/share/keyrings/mongodb-server-8.0.gpg ] https://repo.mongodb.org/apt/ubuntu jammy/mongodb-org/8.0 multiverse" | tee /etc/apt/sources.list.d/mongodb-org-8.0.list
5. apt update && apt install -y mongodb-org
6. systemctl enable --now mongod
7. #配置 MongoDB 认证
8. mongosh admin --eval 'db.createUser({ user: "admin", pwd: "123456", roles: [ { role: "root", db: "admin" } ] })'
9. sed -i '/^security:/a\  authorization: enabled' /etc/mongod.conf
10. systemctl restart mongod
11. #安装 mongo exporter
12. wget https://github.com/percona/mongodb_exporter/releases/download/v0.43.1/mongodb_exporter-0.43.1.linux-amd64.tar.gz
13. tar -xvf mongodb_exporter-0.43.1.linux-amd64.tar.gz
14. mv mongodb_exporter-0.43.1.linux-amd64 /opt/mongodb_exporter
15. chown -R prometheus.prometheus /opt/mongodb_exporter
16. #创建服务文件
17. cat > /lib/systemd/system/mongodb_exporter.service <<EOF
18. [Unit]
19. Description=MongoDB Exporter
20. After=network.target
22. [Service]
23. Type=simple
24. ExecStart=/opt/mongodb_exporter/mongodb_exporter --mongodb.uri=admin:123456@localhost:27017
25. User=prometheus
26. Group=prometheus
27. Restart=on-failure
29. [Install]
30. WantedBy=multi-user.target
31. EOF
33. systemctl daemon-reload
34. systemctl enable --now mongodb_exporter.service

复制代码

#4. 设置 Prometheus 抓取规则

2. #修改 Prometheus 配置文件
3. vim /opt/prometheus/prometheus.yml
5. scrape_configs:
6.   - job_name: 'node'
7.     static_configs:
8.       - targets: ['10.0.0.100:9100', '10.0.0.110:9100', '10.0.0.120:9100']
9.   - job_name: 'mongodb'
10.     static_configs:
11.       - targets: ['10.0.0.120:9216']
12. #检查配置文件语法
13. promtool check config /opt/prometheus/prometheus.yml
14. #重启 Prometheus
15. systemctl restart prometheus

复制代码

#5. 设置 Grafana 仪表盘

1. 登录 Grafana：
   http://10.0.0.100:3000 （默认账号/暗码：admin/admin）（新暗码123456）

2. 添加 Prometheus 数据源：
   - 名称：Prometheus
   - URL：`http://10.0.0.100:9090`

3. 导入仪表盘：
   - Node Exporter 仪表盘（ID: 1860）：
     导入 ID 1860，包罗 CPU、内存、网络指标。
     
   - MongoDB 仪表盘（ID: 13387）：
     导入 ID 13387，包罗节点状态、读写耽误等指标。    

4. 自界说设置：

2.    - 网络包速度：
3.      rate(node_network_receive_bytes_total{device!~"lo|tun.*"}[5m])
4.      rate(node_network_transmit_bytes_total{device!~"lo|tun.*"}[5m])
5.      
6.    - MongoDB 读延迟：
7.      mongodb_cmd_duration_seconds_count{operation="find"}

复制代码

三、验证与测试

1. Prometheus 验证：
  curl http://10.0.0.100:9090/targets
  应表现全部 exporter 状态为 `UP`。
2. Grafana 验证：
   - 查抄仪表盘数据是否正常表现。
   - 确认 CPU、内存、网络、MongoDB 指标是否更新。
   - Node Exporter 仪表盘（ID 1860）表现 CPU、内存、网络指标。
   - MongoDB 仪表盘（ID 13387）表现节点状态、读写耽误等。