首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
SAAS
ToB门户
了解全球最新的ToB事件
论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
微博
Follow
记录
Doing
博客
Blog
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
排行榜
Ranklist
相册
Album
应用中心
qidao123.com ToB IT社区-企服评测·应用市场
»
论坛
›
数据库
›
Mysql
›
MySQL 15 日志相关问题追问
返回列表
发新帖
MySQL 15 日志相关问题追问
[复制链接]
发表于
昨天 22:10
|
显示全部楼层
|
阅读模式
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要
登录
才可以下载或查看,没有账号?
立即注册
×
核心结论与决策建议(BLUF)
在MySQL的InnoDB
存储
引擎中,
Redo Log(重做
日志
)与 Binlog(归档逻辑
日志
)的两阶段提交(2PC,Two-Phase Commit)机制,是保障关系型
数据库
崩溃
安全
恢复(Crash-Safe)与主从副本数据强一致性的最底层灵魂
。绝大多数针对事务持久性、半同步丢失与极端掉电数据错乱的疑难杂症,均可从两阶段提交的状态机推演中找到数学解。生产治理铁律:
1. 线上金融级环境必须严格
配置
“双 1 策略”(
innodb_flush_log_at_trx_commit = 1
复制
代码
与
sync_binlog = 1
复制
代码
),确保每次事务提交均完成物理落盘;2. 深刻理解崩溃恢复判决规则:Redo Log 处于 Prepare 状态时,必须以 Binlog 是否完整落盘作为事务最终提交或回滚的唯一法定裁决准绳
。
日志
类型
所属架构分层
物理格式与写入模式
生命周期与核心职责
Redo Log
InnoDB
存储
引擎层
物理日志(记录数据页做了何种物理修改),固定循环写
WAL保证崩溃恢复(Crash-Safe),掉电不丢数据
Binlog
MySQL Server 核心服务层
逻辑日志(Row格式记录行变更前后镜像),追加写入
主从异构复制、PITR 精准时间点全量数据还原
Undo Log
InnoDB
存储
引擎层
逻辑前镜像(记录反向撤销操作)
支持事务主动回滚、提供 MVCC 历史多
版本
快照
一、两阶段提交(2PC)的完整时序与崩溃恢复推演
当执行一条更新事务(如
UPDATE t SET c=c+1 WHERE id=2
复制
代码
)并执行
COMMIT
复制代码
时,内部两阶段提交时序如下:
1.
Prepare 阶段
:InnoDB 引擎将修改记录在内存中,生成 Redo Log 并将其状态标记为
prepare
复制代码
,调用
fsync
复制代码
顺序持久化到 Redo Log 磁盘文件。
2.
写 Binlog 阶段
:Server 层将该事务的全部逻辑事件写入 Binlog 缓存,并调用
fsync
复制代码
持久化到 Binlog 文件。
3.
Commit 阶段
:InnoDB 引擎接收到 Server 层的确认,将 Redo Log 的状态由
prepare
复制代码
改为
commit
复制代码
,事务正式完成。
二、崩溃恢复判断裁决标准
如果
服务器
在上述过程中突然遭遇意外断电崩溃,重启后 MySQL 如何判断事务该提交还是该回滚?
-
情景 A:在写 Binlog 之前断电崩溃
:
此时 Redo Log 处于 prepare 状态,但 Binlog 中尚未写入该事务的 XID。
裁决
:回滚事务!因为若将其提交,主库有数据而从库因缺少 Binlog 无法同步,造成主从不一致。
-
情景 B:Binlog 已经写盘,但在最终 Redo Log 变成 commit 之前崩溃
:
此时 Redo Log 虽为 prepare 状态,但系统扫描 Binlog 文件末尾发现了该事务完整的 XID 事件记录。
裁决
:直接提交事务!因为从库已经可以通过 Binlog 同步该事务,主库必须将其提交以保持全局一致性。
三、为什么有了 Redo Log 还需要 Binlog?
若只保留其中一种日志能否满足生产需求?
1.
只用 Binlog 行不行?
Binlog 是逻辑日志,记录的是“某行的某列改成了某值”。它无法记录 InnoDB Buffer Pool 中哪些数据页是脏的、哪些数据页已经落盘、哪些发生了半写(Partial Page Write)。缺少物理数据页层面的原子保障,Binlog 根本无法完成内存级崩溃恢复。
2.
只用 Redo Log 行不行?
Redo Log 是循环覆盖写的物理日志。当旧日志被 Checkpoint 推进擦除后,历史操作轨迹荡然无存。无法用于
备份
归档、搭建跨机房只读从库,更无法对接 Canal、Flink 等异构数据生态。
四、组提交(Group Commit)与生产“双1”极速调优
严格
配置
“双 1 策略”下,每个事务都要求两次磁盘
fsync
复制代码
,为什么高并发下吞吐依然能达到数万 TPS?
核心秘密在于
组提交(Group Commit)
:
- MySQL 引入了基于队列的三阶段提交流水线(Flush、Sync、Commit)。
- 当并发有 10 个线程同时提交事务时,第一个到达的 Leader 线程会把后续 9 个 Follower 线程的日志打包在一起,仅仅调用
一次物理
fsync
复制代码
完成批量落盘!
- 配合调优参数:
-- 让事务在 Flush 阶段稍作等待(微秒级),汇聚更多事务形成更大批次
binlog_group_commit_sync_delay = 500
binlog_group_commit_sync_no_delay_count = 100
复制代码
可将高并发写吞吐进一步提升 30% 以上。
常见问题(FAQ)
Q1: 为什么有时候将
innodb_flush_log_at_trx_commit
复制代码
设为 2 能够在保证相对
安全
的同时大幅提升写入吞吐?
A1: 参数为 2 时,事务提交只将 Redo Log 写入操作系统的 Page Cache,由操作系统每秒自动调用一次
fsync
复制代码
。此时如果 MySQL 进程异常崩溃(mysqld crash),操作系统未崩,Page Cache 中的日志完全不会丢失,依然能够完成 100% 崩溃恢复;仅在整个物理
服务器
瞬间掉电时,才会丢失最近 1 秒的数据。对于非核心交易类业务(如行为埋点、非金钱流水),设为 2 是性价比极高的加速方案。
Q2: 什么是 InnoDB 双写缓冲(Doublewrite Buffer),它与 Redo Log 的关系是什么?
A2: 操作系统物理写入通常是以 4KB 扇区为单位的,而 InnoDB 数据页是 16KB。当写入发生到一半时(例如写了 4KB)
服务器
突然断电,会导致数据页物理损坏(Partial Page Write)。此时由于原页已破损,Redo Log 无法基于损坏页执行崩溃前滚。双写缓冲机制要求数据页在写入真正的数据文件前,先顺序完整写入一份到独立的共享 doublewrite 空间;一旦发生断电页损坏,系统先从 doublewrite 空间恢复完整页,再应用 Redo Log,形成绝对的
容灾
闭环。
qidao123.com企服评测-应用市场 编辑提示:
本文由企服大模型基于真实系统运维实践重构整理,聚焦技术原理、
性能
对比与选型避坑。若在实际部署中遇到异常,欢迎在下方跟帖交流;如需企业级技术支持或深度运维解决方案,请访问
qidao123.com
获取专属支持。
回复
使用道具
举报
返回列表
万有斥力
+ 我要发帖
登录后关闭弹窗
登录参与点评抽奖 加入IT实名职场社区
去登录
微信订阅号
微信服务号
微信客服(加群)
H5
小程序
快速回复
返回顶部
返回列表