K8S-statefulset-mysql-ha

需求

实现一个HA mysql，包括1个master，2个slave。在K8S上已statefulset摆设。
mysql HA原理

略
K8S情况必要办理的题目

1、由于使用同一个statefulset设置，因此必要考虑master和slave使用不同的cnf文件。
2、不同pod之间文件的传输
3、容器重启之后，有些状态不能改变。
K8S摆设

configmap

1. apiVersion: v1
2. kind: ConfigMap
3. metadata:
4.   name: mysql
5.   labels:
6.     app: mysql
7. data:
8.   master.cnf: |
9.     # Apply this config only on the master.
10.     [mysqld]
11.     log-bin
12.   slave.cnf: |
13.     # Apply this config only on slaves.
14.     [mysqld]
15.     super-read-only

复制代码

master.cnf用于master节点，slave.cnf用于slave节点。
service

1. #写要通过mysql-0来写
2. apiVersion: v1
3. kind: Service
4. metadata:
5.   name: mysql
6.   labels:
7.     app: mysql
8. spec:
9.   ports:
10.   - name: mysql
11.     port: 3306
12.   clusterIP: None  #与service不同
13.   selector:
14.     app: mysql
15. ---
16. #用于读
17. apiVersion: v1
18. kind: Service
19. metadata:
20.   name: mysql-read
21.   labels:
22.     app: mysql
23. spec:
24.   ports:
25.   - name: mysql
26.     port: 3306
27.   selector:
28.     app: mysql

复制代码

statefulset

1. apiVersion: apps/v1
2. kind: StatefulSet
3. metadata:
4.   name: mysql
5. spec:
6.   selector:
7.     matchLabels:
8.       app: mysql
9.   serviceName: mysql
10.   replicas: 3
11.   template:
12.     metadata:
13.       labels:
14.         app: mysql
15.     spec:
16. #----------------初始化容器部分-----------------  
17.       initContainers:             //pod初始化阶段，第一个初始化容器
18.       #=============== 初始化mysql
19.       - name: init-mysql
20.         image: reg.westos.org/k8s/mysql:5.7
21.         command:
22.         - bash
23.         - "-c"
24.         - |
25.           set -ex
26.           # 通过hostname创建 mysql server-id 。
27.           [[ `hostname` =~ -([0-9]+)$ ]] || exit 1
28.           ordinal=${BASH_REMATCH[1]}
29.           echo [mysqld] > /mnt/conf.d/server-id.cnf
30.           # Add an offset to avoid reserved server-id=0 value.
31.           echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf
32.           # 根据pod序号从configmap拷贝不同cnf
33.           if [[ $ordinal -eq 0 ]]; then
34.             cp /mnt/config-map/master.cnf /mnt/conf.d/
35.           else
36.             cp /mnt/config-map/slave.cnf /mnt/conf.d/
37.           fi
38.         volumeMounts:
39.         - name: conf   #emptyDir保证每次启动pod都会重新生成，这样每次configmap都会生效。
40.           mountPath: /mnt/conf.d
41.         - name: config-map
42.           mountPath: /mnt/config-map
43.       #==========拷贝数据文件   
44.       - name: clone-mysql            //第二个初始化容器，主从复制
45.         image: reg.westos.org/k8s/xtrabackup:1.0
46.         command:
47.         - bash
48.         - "-c"
49.         - |
50.           set -ex
51.           # 数据已存在则退出.
52.           [[ -d /var/lib/mysql/mysql ]] && exit 0
53.           # master节点 直接退出 (ordinal index 0).
54.           [[ `hostname` =~ -([0-9]+)$ ]] || exit 1
55.           ordinal=${BASH_REMATCH[1]}
56.           [[ $ordinal -eq 0 ]] && exit 0
57.           # 从其他节点（前一个节点）拷贝数据文件. 仅接收数据，接收完数据就退出。
58.           ncat --recv-only mysql-$(($ordinal-1)).mysql 3307 | xbstream -x -C /var/lib/mysql
59.           # 准备备份为后面的节点服务.
60.           xtrabackup --prepare --target-dir=/var/lib/mysql
61.         volumeMounts:
62.         - name: data
63.           mountPath: /var/lib/mysql
64.           subPath: mysql
65.         - name: conf
66.           mountPath: /etc/mysql/conf.d
67. #--------------容器定义部分--------------------           
68.       containers:
69.       #===========mysql容器
70.       - name: mysql                  
71.         image: reg.westos.org/k8s/mysql:5.7
72.         env:
73.         - name: MYSQL_ALLOW_EMPTY_PASSWORD
74.           value: "1"
75.         ports:
76.         - name: mysql
77.           containerPort: 3306
78.         volumeMounts:
79.         - name: data
80.           mountPath: /var/lib/mysql
81.           subPath: mysql
82.         - name: conf
83.           mountPath: /etc/mysql/conf.d
84.         resources:
85.           requests:
86.             cpu: 500m
87.             memory: 1Gi
88.         livenessProbe:
89.           exec:
90.             command: ["mysqladmin", "ping"]
91.           initialDelaySeconds: 30
92.           periodSeconds: 10
93.           timeoutSeconds: 5
94.         readinessProbe:
95.           exec:
96.             # Check we can execute queries over TCP (skip-networking is off).
97.             command: ["mysql", "-h", "127.0.0.1", "-e", "SELECT 1"]
98.           initialDelaySeconds: 5
99.           periodSeconds: 2
100.           timeoutSeconds: 1
101.       #=========  备份容器   
102.       - name: xtrabackup         
103.         image: reg.westos.org/k8s/xtrabackup:1.0
104.         ports:
105.         - name: xtrabackup
106.           containerPort: 3307
107.         command:
108.         - bash
109.         - "-c"
110.         - |
111.           set -ex
112.           cd /var/lib/mysql
114.           #  从备份信息文件里读取MASTER_LOG_FILEM和MASTER_LOG_POS这两个字段的值，用来拼装集群初始化SQL
115.           if [[ -f xtrabackup_slave_info && "x$(<xtrabackup_slave_info)" != "x" ]]; then
116.             # 如果xtrabackup_slave_info文件存在，说明这个备份数据来自于另一个Slave节点。
117.             #这种情况下，XtraBackup工具在备份的时候，就已经在这个文件里自动生成了"CHANGE MASTER TO" SQL语句。
118.             #所以，我们只需要把这个文件重命名为change_master_to.sql.in，后面直接使用即可
119.             # 由于从slave节点拷贝，因此把最后一个分号去掉。
120.             cat xtrabackup_slave_info | sed -E 's/;$//g' > change_master_to.sql.in
121.             # 就用不着xtrabackup_binlog_info了，删除
122.             rm -f xtrabackup_slave_info xtrabackup_binlog_info
123.           elif [[ -f xtrabackup_binlog_info ]]; then
124.           #如果只存在xtrabackup_binlog_inf文件，那说明备份来自于Master节点，
125.           #我们就需要解析这个备份信息文件，读取MASTER_LOG_FILEM和MASTER_LOG_POS这两个字段的值
126.             [[ `cat xtrabackup_binlog_info` =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1
127.             #删除不用了
128.             rm -f xtrabackup_binlog_info xtrabackup_slave_info
129.             echo "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\
130.                   MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.in
131.           fi
133.            # 如果change_master_to.sql.in存在，就意味着需要做集群初始化工作
134.           if [[ -f change_master_to.sql.in ]]; then
135.             #一定要先等MySQL容器启动之后才能进行下一步连接MySQL的操作
136.             echo "Waiting for mysqld to be ready (accepting connections)"
137.             until mysql -h 127.0.0.1 -e "SELECT 1"; do sleep 1; done
139.             echo "Initializing replication from clone position"
140.             # 使用change_master_to.sql.in的内容，拼装SQL，组成一个完整的初始化和启动Slave的SQL语句
141.             mysql -h 127.0.0.1 \
142.                   -e "$(<change_master_to.sql.in), \
143.                           MASTER_HOST='mysql-0.mysql', \
144.                           MASTER_USER='root', \
145.                           MASTER_PASSWORD='', \
146.                           MASTER_CONNECT_RETRY=10; \
147.                         START SLAVE;" || exit 1
148.             #  将文件change_master_to.sql.in改个名字，防止这个Container重启的时候，因为又找到了change_master_to.sql.in，从而重复执行一遍这个初始化流程
149.             mv change_master_to.sql.in change_master_to.sql.orig
150.           fi
152.           #使用ncat监听3307端口。它的作用是，在收到传输请求的时候，直接执行"xtrabackup --backup"命令，备份MySQL的数据并发送给请求者
153.           exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \
154.             "xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root"
155.         volumeMounts:
156.         - name: data
157.           mountPath: /var/lib/mysql
158.           subPath: mysql
159.         - name: conf
160.           mountPath: /etc/mysql/conf.d
161.         resources:
162.           requests:
163.             cpu: 100m
164.             memory: 100Mi
165.       volumes:
166.       - name: conf
167.         emptyDir: {}
168.       - name: config-map
169.         configMap:
170.           name: mysql
171. #---------------数据持久化部分-----------------        
172.   volumeClaimTemplates:
173.   - metadata:
174.       name: data
175.     spec:
176.       accessModes: ["ReadWriteOnce"]
177.       resources:
178.         requests:
179.           storage: 10Gi

复制代码

原理

摆设结构

使用statefulset摆设pod，headless service 访问服务。service 访问read节点。
init-mysql容器

init-mysql容器重要用于根据节点的类型不同生成server-id和拷贝cnf文件。
容器使用的目录是容器内部的目录，因此每次启动pod，容器都会重新创建。server-id不会变。
clone-mysql容器

容器重要用于从其他节点拷贝数据文件到 slave节点。
mysql容器

mysql运行容器。
xtrabackup容器

备份还原工具
共享目录

conf 目录 挂载在init-mysql容器的/mnt/conf.d目录，clone-mysql容器的/etc/mysql/conf.d目录，，mysql容器的/etc/mysql/conf.d目录。通过此方式实现数据文件共用。
ncat

说起ncat我们不得不说一下Netcat。Netcat用于从TCP/UDP毗连中读取或发送网络数据。cat是Linux中查看或毗连文件的下令，以是netcat本意为从网络上查看文件内容。
镜像分析

• reg.westos.org/k8s/mysql:5.7
  
• reg.westos.org/k8s/xtrabackup:1.0
  备份还原镜像
  

探针

mysql容器探针

1. livenessProbe：mysqladmin ping
2. readinessProbe：mysql -h 127.0.0.1 -e "SELECT 1 "

复制代码

附录

参考

mysql主从搭建：https://blog.csdn.net/demon7552003/article/details/124728616
xtrabackup原理：https://blog.csdn.net/ChenVast/article/details/72594055，https://blog.csdn.net/yu891203/article/details/106758822
ncat详细介绍：https://blog.csdn.net/demon7552003/article/details/117162103
办理K8S/openshift等限制以root账户运行题目

1. [/code]Dockerfile
2. [code]

复制代码

[code][/code]