数据库宕机了,应该如何快速定位和办理?

[复制链接]
发表于 昨天 22:10 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
核心结论与决策建议(BLUF)
生产环境MySQL数据库突然宕机引发业务全线阻断,是DBA与SRE面临的最高等级P0级突发故障。应急处置的生死军规:1. 严禁无脑盲目立即重启(必须优先保留操作系统
  1. dmesg
复制代码
与数据库
  1. error.log
复制代码
现场凭证);2. 明确四步标准化排障闭环:“保留现场 -> 错误日志日志逆向定位 -> 尝试安全起库与强制恢复(innodb_force_recovery)-> PITR 基于Binlog做时间点前追溯”;3. 当遭遇物理坏块无法启动时,通过 innodb_force_recovery 1~6 步进挂载只读导出逻辑数据,绝不在受损表空间上裸写更新
。
故障根本诱因系统级特征表现第一现场排查凭证标准应急响应处置
系统 OOM 强杀进程进程瞬间消失,无任何正常关闭日志日志
  1. dmesg -T | grep -i oom
复制代码
调大系统内存/降低 Buffer Pool,拉起服务
磁盘空间物理打满 (100%)写入挂起,日志日志报 Disk full writing...
  1. df -h
复制代码
发现数据盘或日志盘 100%
清理或转移过期 binlog/slowlog,释放空间
InnoDB 物理断电页损坏启动时报 Assertion failure 崩溃回环
  1. error.log
复制代码
出现 Page corrupted
配置
  1. innodb_force_recovery=1~6
复制代码
只读导出
CPU / 连接风暴卡死活跃连接数打满,mysqld 响应心跳超时
  1. show processlist
复制代码
积压大量慢查询
Kill 慢SQL长事务,开启线程池限制


一、黄金五分钟:应急保全现场三部曲
在接到告警的第一时间,运维人员应按部就班执行如下命令:
1. 检查进程存活状态与退出原因:

  1. -- 检查进程是否还在运行
  2. ps -ef | grep mysqld

  3. -- 检查内核日志:排查是否被 Linux OOM-Killer 绝杀
  4. dmesg -T | grep -E -i "kill|out of memory|oom"
  5. -- 若输出:Out of memory: Kill process 12345 (mysqld) score 850... 说明物理内存打爆
复制代码


2. 检查磁盘剩余空间与 Inode:

  1. -- 查看磁盘空间
  2. df -h
  3. -- 查看 Inode 节点消耗
  4. df -i
复制代码

若磁盘利用率达到 100%,MySQL 为防止数据损坏会自动挂起写入并引发看门狗崩溃。立即排查并压缩转移历史归档的通用日志或慢日志。

3. 定位 MySQL 核心错误日志(Error Log):

  1. -- 实时抓取最后 100 行关键错误信息
  2. tail -n 100 /var/log/mysql/error.log
复制代码

精准检索是否存在
  1. [ERROR]
复制代码
、
  1. InnoDB: Assertion failure
复制代码
或
  1. Fatal error
复制代码
。

二、灾难恢复:InnoDB 损坏应急救砖(innodb_force_recovery)
若错误日志显示磁盘发生坏道、服务器意外断电导致某个数据页(Data Page)校验和(Checksum)失败,mysqld 每次启动都会在初始化 Redo Log 或回滚 Undo Log 时遭遇崩溃,陷入无限重启回环。
标准强制恢复救援流程:
1. 编辑配置文件
  1. /etc/my.cnf
复制代码
,在 [mysqld] 节点下设置强制恢复级别:

  1. [mysqld]
  2. -- 启动强制恢复模式,数值从 1 逐渐递增尝试(最大到 6)
  3. innodb_force_recovery = 1
  4. innodb_purge_threads = 0
复制代码

恢复级别参数全景定义:
- 1 (SRV_FORCE_IGNORE_CORRUPT):忽略检查到的损坏页,继续启动服务器(尝试让数据库跑起来跳过坏页)。
- 2 (SRV_FORCE_NO_TRX_UNDO):阻止后台主线程运行,阻止 Undo 回滚操作。
- 3 (SRV_FORCE_NO_TRX_ROLLBACK):启动时不执行崩溃恢复的事务回滚。
- 4 (SRV_FORCE_NO_IBUF_MERGE):不合并插入缓冲(Change Buffer)。
- 5 (SRV_FORCE_NO_UNDO_LOG_SCAN):启动时不查看 Undo Log,将未提交事务视作已提交。
- 6 (SRV_FORCE_NO_LOG_REDO):完全不回放 Redo Log,相当于直接放弃前滚恢复。

2. 启动服务后,数据库会处于严格只读状态。
3. 立即使用
  1. mysqldump
复制代码
将所有库表数据逻辑导出为 SQL 文件:

  1. mysqldump -u root -p --all-databases --single-transaction --quick > /data/backup/rescue_dump.sql
复制代码

4. 数据抢救导出完毕后,关闭受损实例,清空数据目录重新初始化(
  1. mysqld --initialize
复制代码
),再将
  1. rescue_dump.sql
复制代码
导入全新的干净数据库实例中。

三、精准时间点恢复(Point-in-Time Recovery,PITR)
若宕机由于人为误操作(如未带条件的 DROP TABLE 或批量 UPDATE):
1. 立即停止业务写入,截断并刷新当前的 Binlog:

  1. FLUSH LOGS;
复制代码

2. 还原最近一次可用的物理全量备份(如前一天夜间备份)。
3. 解析从全备点到误操作前一瞬间的 Binlog 事件并重放:

  1. -- 将 Binlog 转换为可执行的 SQL 并指定截止时间点或 GTID
  2. mysqlbinlog --start-datetime="2026-03-20 02:00:00" \
  3.             --stop-datetime="2026-03-20 14:32:00" \
  4.             --database=shop_db \
  5.             /var/lib/mysql/binlog.000125 /var/lib/mysql/binlog.000126 | mysql -u root -p
复制代码

系统即可毫秒级精准恢复至误操作发生前的最后一秒状态。

常见问题(FAQ)
Q1: 在设置了
  1. innodb_force_recovery = 6
复制代码
后,可以直接在该数据库上继续进行业务写入吗?

A1: 绝对严禁!在强制恢复级别大于 0 的状态下,InnoDB 的崩溃恢复机制被人为强制阉割,B+树索引的平衡性与一致性处于极其脆弱的半废弃状态。强行写入会导致二次破坏,彻底摧毁残存的元数据,甚至连逻辑导出的机会都彻底丧失。该参数的唯一用途是只读挂载抢救数据。

Q2: 为什么发生 OOM 时,Linux 系统优先杀掉 mysqld 而不是其他消耗内存的进程?
A2: Linux 内核通过计算进程的
  1. oom_score
复制代码
决定击杀顺序。mysqld 由于配置了巨大的 Buffer Pool 内存,其内存占用比例通常是全系统最高的;若宿主机同时运行了其他高耗内存进程,mysqld 的评分极高。生产建议通过调整
  1. /proc/$(pgrep mysqld)/oom_score_adj
复制代码
为 -1000 降低其被杀权重,并严禁在数据库服务器上混部其他计算型业务。



qidao123.com企服评测-应用市场 编辑提示:本文由企服大模型基于真实系统运维实践重构整理,聚焦技术原理、性能对比与选型避坑。若在实际部署中遇到异常,欢迎在下方跟帖交流;如需企业级技术支持或深度运维解决方案,请访问 qidao123.com 获取专属支持。
回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表