MySQL binlog日志占用过大

摘要:
Binlog描述mysql Binlog是mysql数据库的二进制日志,用于记录用户对数据库操作的SQL语句(数据查询语句除外)。这三种格式描述如下:语句模式基于SQL语句的复制。每个修改数据的SQL语句都将记录在binlog中。

binlog介绍

mysql-binlog是MySQL数据库的二进制日志,用于记录用户对数据库操作的SQL语句((除了数据查询语句)信息。可以使用mysqlbin命令查看二进制日志的内容。binlog的格式也有三种:STATEMENT、ROW、MIXED 。下面对这三种格式分别加以说明:

STATMENT模式

基于SQL语句的复制(statement-based replication, SBR),每一条会修改数据的sql语句会记录到binlog中。

优点:不需要记录每一条SQL语句与每行的数据变化,这样子binlog的日志也会比较少,减少了磁盘IO,提高性能。

缺点:在某些情况下会导致master-slave中的数据不一致(如sleep()函数, last_insert_id(),以及user-defined functions(udf)等会出现问题)

ROW模式

不记录每一条SQL语句的上下文信息,仅需记录哪条数据被修改了,修改成了什么样子了。

优点:不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。

缺点:会产生大量的日志,尤其是alter table的时候会让日志暴涨。

MIXED模式

混合模式复制(mixed-based replication, MBR):以上两种模式的混合使用,一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog,MySQL会根据执行的SQL语句选择日志保存方式。

相关binlog配置

[mysqld]
binlog_format = mixed
#设置日志格式

log-bin = /data/mysql/logs/mysql-bin.log
#设置日志路径,注意路经需要mysql用户有权限写

expire_logs_days = 7
#设置binlog清理时间

max_binlog_size = 100m
#binlog每个日志文件大小

binlog_cache_size = 4m
#binlog缓存大小

max_binlog_cache_size = 512m
#最大binlog缓存大小

问题环境

  公司现有的mysql数据库因为开启了binlog日志,但是没有做定期清理处置,下面对现在碰到的问题做一个思路的描述及处理步骤:

1、如果数据库已经崩溃,则不要立即启动(就算你想启动也启动不了)
2、如果数据非常重要先做数据备份,个人建议先将binlog日志转移到其他磁盘分区下
3、修改服务的主配置文件,设置binlog的存在周期
4、重启服务,并且重置/查看binlog日志信息

 

相关操作

# 处理binlog日志占用过大方式1----关闭binlog记录
binlog日志的关闭直接在配置文件中注释即可

# 处理binlog日志占用过大方式2----设置日志文件保存周期
expire_logs_days = x //二进制日志自动删除的天数。默认值为0,表示“没有自动删除”,官方推荐10天左右,具体时间根据业务来定

# 处理binlog日志占用过大方式3----手动清理,可以自己写脚本
PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY);   //删除10天前的MySQL binlog日志,附录2有关于PURGE MASTER LOGS手动删除用法及示例
# 下面是一些关于扩展操作
相关SQL语句如下:
show binary logs;                            
# 查看binlog现有详情

show variables like '%log%';            
# 查看log变量的相关配置

set global expire_logs_days = 10;    
# 设置binlog的保存时间

reset master;                                 
# 重置所有的binlog,相当于删除所有的binlog,这个操作对主从集群影响非常大,因为主从赋值是基于binlog日志来实现的

PURGE {MASTER | BINARY} LOGS TO 'log_name'
PURGE {MASTER | BINARY} LOGS BEFORE 'date'
# 删除指定的日志或日期之前的日志索引中的所有二进制日志。MASTER和BINARY是同义词

PURGE MASTER LOGS TO 'MySQL-bin.010'; 
#清除MySQL-bin.010日志

PURGE MASTER LOGS BEFORE '2008-06-22 13:00:00';  
#清除2008-06-22 13:00:00前binlog日志

PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 3 DAY); 
# 清除3天前binlog日志BEFORE,变量的date自变量可以为'YYYY-MM-DD hh:mm:ss'格式。

免责声明:文章转载自《MySQL binlog日志占用过大》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇QT-2D编程Ceph部署(二)RGW搭建下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

随便看看

微信内置浏览器清理缓存方法

给出清除微信浏览器缓存的终极方法:您可以尝试可能不会成功的方法:window。name){varstr=Math.random().toString(36).substr(2);S='+str;//兼容微信浏览器刷新窗口。name='isread';}<3.Android可以打开此网站以清除cache://debugx5.qq。com公司/☆☆...

springsession生成sessionid不一致问题解决

毫无疑问,我遇到的主要问题是两个不同版本的spring boot,需要共享sessionid。...

小程序真机上报错 for developer: some selectors are not allowed in component wxss , including tag name selectors, id selectors, and attribute selectors

在引用组件的组件和页面中使用后代选择器在某些极端情况下会产生意想不到的性能。如果是,请避免使用它们。子元素选择器只能在视图组件及其子节点之间使用,其他组件可能会导致意外情况。继承的样式(如字体和颜色)将从组件外部继承到组件内部。除了继承样式之外,app.wxss中的样式和组件所在页面的样式对于自定义组件无效。...

禅道从windows迁移到linux

windows下图片路径/zentao/www/data/upload/1备份到Linux下路径/opt/zbox/app/zentao/www/data/upload/1二、Linux下安装禅道注意一定要安装相同版本的禅道2.1、安装禅道有很多方法,禅道官网也有详细说明,这里主要讲linux用一键安装包及遇到的问题2.2、下载安装包禅道官网下载界面很乱,大...

微软新一代输入法框架 TSF

目前,市场上的非微软中文输入法基本上只实现IMM框架。自Windows XP开始以来,Windows提供了一个基于COM的新输入框架TSF。但是,Windows Vista和Windows 7用户也可以使用各种基于IMM的输入方法,因为Windows提供了一个组件来将所有TSF请求转换为IMM API。很可能,因为Win8下的许多Imm函数无法使用。)根据微...

微信分享之分享图片/分享图标不能显示

微信分享的分享图标/图片无法显示,主要是由于以下几个问题:1.确保分享界面调用成功,分享路径正确。2.确保共享图片的路径不使用中文或全半角字符。3.确保副本不包含敏感字符,如红包和收据。当共享接口未能成功加载时,将发生错误。在页面的前面使用隐藏的div来放置要制作缩略图的图片。记住,不能直接隐藏图片。style=“display:noen”,如果没有,则使用...