mysql清理日志脚本分享

分类：MySQL作者：大大刺猬

背景

数据库运行久了, 日志就很多, 很占空间. 就需要定期清理, 人工清理一是麻烦, 二是容易出错

所以整了个清理日志的脚本.

脚本下载地址

1. GITHUB

https://github.com/ddcw/ddcw/blob/master/shells/MysqlClearLog.sh

2. 见文末

脚本使用方法

配置下基本信息就行

懒点的只配置数据库信息也行.

注: 脚本不支持远程执行, 只能和数据库在一台服务器上.

#数据库信息
MYSQL_HOST='127.0.0.1'
MYSQL_PORT='3308'
MYSQL_USER='root'
MYSQL_PASSWORD='123456'
MYSQL_SOCKET='/data/mysql_3308/run/mysql.sock' #暂不支持


#SLOW_LOG
#SLOW_LOG_FILE='/data/mysql_3308/mysqllog/dblogs/slow3308.log'  #为空的话, 就自动查询, 优先使用手动配置的
SLOW_LOG_MAX_SIZE='52428800' #慢日志最大的大小, 超过之后就切换日志, 并归档
SLOW_LOG_TAR_EXPIRE_DAYS='60' #切换之后的日志过期时间, 超过之后就删除
SLOW_LOG_TAR_DIR='' #切换之后的日志的保存目录, 为空的时候,表示原来的路径

#ERROR LOG
#ERROR_LOG_FILE='/data/mysql_3308/mysqllog/dblogs/mysql3308.err' #为空的话, 就自动查询
ERROR_LOG_MAX_SIZE='52428800' #错误日志大小, 超过就切换并归档
ERROR_LOG_TAR_EXPIRE_DAYS='60' #归档的错误日志的最大保存时间, 过期就删除
ERROR_LOG_TAR_DIR='' #切换之后的日志的保存目录

#GENERAL LOG
#GENERAL_LOG_FILE='/data/mysql_3308/mysqllog/dblogs/general3308.log' #为空就自动查询
GENERAL_LOG_MAX_SIZE='524288000' #500MB
GENERAL_LOG_TAR_EXPIRE_DAYS='60'
GENERAL_LOG_TAR_DIR=''

运行脚本

日志太小的时候,就不切换, 之后切换成功之后才会清理旧日志(安全些)

配置定时任务(可选)

crontab -e

* 1 * * * sh /root/MysqlClearLog.sh

脚本内容

#!/usr/bin/env bash
#write by ddcw at 20220601

source /etc/profile

#定义全局变量, 相当于配置文件, 只是懒得去整.

export LANG=en_US.UTF-8
export THIS_PID=$$
umask 0022 #EulerOS之类的默认umask可能不是0022, 会有目录权限问题
stty erase ^H

#数据库信息
MYSQL_HOST='127.0.0.1'
MYSQL_PORT='3308'
MYSQL_USER='root'
MYSQL_PASSWORD='123456'
MYSQL_SOCKET='/data/mysql_3308/run/mysql.sock' #暂不支持


#SLOW_LOG
#SLOW_LOG_FILE='/data/mysql_3308/mysqllog/dblogs/slow3308.log'  #为空的话, 就自动查询, 优先使用手动配置的
SLOW_LOG_MAX_SIZE='52428800' #慢日志最大的大小, 超过之后就切换日志, 并归档
SLOW_LOG_TAR_EXPIRE_DAYS='60' #切换之后的日志过期时间, 超过之后就删除
SLOW_LOG_TAR_DIR='' #切换之后的日志的保存目录, 为空的时候,表示原来的路径

#ERROR LOG
#ERROR_LOG_FILE='/data/mysql_3308/mysqllog/dblogs/mysql3308.err' #为空的话, 就自动查询
ERROR_LOG_MAX_SIZE='52428800' #错误日志大小, 超过就切换并归档
ERROR_LOG_TAR_EXPIRE_DAYS='60' #归档的错误日志的最大保存时间, 过期就删除
ERROR_LOG_TAR_DIR='' #切换之后的日志的保存目录

#GENERAL LOG
#GENERAL_LOG_FILE='/data/mysql_3308/mysqllog/dblogs/general3308.log' #为空就自动查询
GENERAL_LOG_MAX_SIZE='524288000' #500MB
GENERAL_LOG_TAR_EXPIRE_DAYS='60'
GENERAL_LOG_TAR_DIR=''


#BINLOG  不支持, 就系统自动清理就行, 也可以参考,
#PURGE BINARY LOGS TO 'mysql-bin.010';
#PURGE BINARY LOGS BEFORE '2022-04-02 22:46:26';

MYSQL1="mysql --host=${MYSQL_HOST} --port=${MYSQL_PORT} --user=${MYSQL_USER} --password=${MYSQL_PASSWORD}"
MYSQL2="mysql --socket=${MYSQL_SOCKET} --password=${MYSQL_PASSWORD}"

echo_color(){
	echo "[$1][$(date +'%Y%m%d %H:%M:%S')] $2"
}

clear_error_log(){
	if [ "${ERROR_LOG_FILE}" == "" ];then
		echo_color "INFO" "error log (var:ERROR_LOG_FILE) is null, will auto get"
		ERROR_LOG_VAR=`echo $(${MYSQL1} -e "show global variables like 'log_error';" 2>/dev/null) | awk '{print $NF}'`
		if [ "${ERROR_LOG_VAR:0:1}" == "/" ];then
			ERROR_LOG_FILE=${ERROR_LOG_VAR}
		else
			ERROR_LOG_FILE=${MYSQL_DATA_DIR}${ERROR_LOG_VAR}
		fi
	fi

	if [ -f ${ERROR_LOG_FILE} ];then
		if $(${MYSQL1} -e "FLUSH ERROR LOGS;" 2>/dev/null);then
			if [ "${ERROR_LOG_TAR_DIR}" == "" ];then ERROR_LOG_TAR_DIR=${ERROR_LOG_FILE%/*};fi
			ERROR_LOG_FILE_NAME=${ERROR_LOG_FILE##*/}$(date +'%Y%m%d_%H%M%S')"_WILL_BE_DELETE"
			if [ $(du -sb ${ERROR_LOG_FILE} | awk '{print $1}') -gt ${ERROR_LOG_MAX_SIZE} ];then
				if mv ${ERROR_LOG_FILE} ${ERROR_LOG_TAR_DIR}/${ERROR_LOG_FILE_NAME};then
					${MYSQL1} -e "FLUSH ERROR LOGS;" 2>/dev/null || echo_color "ERROR" "maybe flush error log failed."
					old_tmp_dir=$(pwd)
					cd ${ERROR_LOG_TAR_DIR}
					tar -zcf ${ERROR_LOG_FILE_NAME}.tar.gz --remove-files ${ERROR_LOG_FILE_NAME} || echo_color "INFO" "tar -zcvf ${ERROR_LOG_TAR_DIR}/${ERROR_LOG_FILE_NAME}.tar.gz --remove-files ${ERROR_LOG_TAR_DIR}/${ERROR_LOG_FILE_NAME} failed. will be skip"
					cd ${old_tmp_dir}
					echo_color "INFO" "Rotation error log success"
					#tar成功之后, 清除过期的备份日志
					for need_remove_file in `find ${ERROR_LOG_TAR_DIR} -mtime +${ERROR_LOG_TAR_EXPIRE_DAYS} -name "*_WILL_BE_DELETE.tar.gz"`
					do
						if [ -f ${need_remove_file} ];then
							rm -rf ${need_remove_file} && echo_color "INFO" "delete error log ${need_remove_file} success"
						fi
					done
				else
					echo_color "ERROR" "mv ${ERROR_LOG_FILE} ${ERROR_LOG_TAR_DIR}/${ERROR_LOG_FILE_NAME} failed, will skip error log"
				fi
			else
				echo_color "INFO" "error log (${ERROR_LOG_FILE}) less than ${ERROR_LOG_MAX_SIZE}, will skip"
			fi
		else
			echo_color "ERROR" "Maybe Access denied; you need (at least one of) the RELOAD privilege(s) for this operation"
		fi
	else
		echo_color "INFO" "error log ${ERROR_LOG_FILE} not exist, will skip"
	fi
}

clear_slow_log(){
	if [ "${SLOW_LOG_FILE}" == "" ];then
		echo_color "INFO" "slow log (var:SLOW_LOG_FILE) is null, will auto get"
		SLOW_LOG_VAR=`echo $(${MYSQL1} -e "show global variables like 'slow_query_log_file';" 2>/dev/null) | awk '{print $NF}'`
		if [ "${SLOW_LOG_VAR:0:1}" == "/" ];then
			SLOW_LOG_FILE=${SLOW_LOG_VAR}
		else
			SLOW_LOG_FILE=${MYSQL_DATA_DIR}${SLOW_LOG_VAR}
		fi
	fi

	if [ -f ${SLOW_LOG_FILE} ];then
		if $(${MYSQL1} -e "FLUSH SLOW LOGS;" 2>/dev/null);then
			if [ "${SLOW_LOG_TAR_DIR}" == "" ];then SLOW_LOG_TAR_DIR=${SLOW_LOG_FILE%/*};fi
			SLOW_LOG_FILE_NAME=${SLOW_LOG_FILE##*/}$(date +'%Y%m%d_%H%M%S')"_WILL_BE_DELETE"
			if [ $(du -sb ${SLOW_LOG_FILE} | awk '{print $1}') -gt ${SLOW_LOG_MAX_SIZE} ];then
				if mv ${SLOW_LOG_FILE} ${SLOW_LOG_TAR_DIR}/${SLOW_LOG_FILE_NAME};then
					${MYSQL1} -e "FLUSH SLOW LOGS;" 2>/dev/null || echo_color "ERROR" "maybe flush slow log failed."
					old_tmp_dir=$(pwd)
					cd ${SLOW_LOG_TAR_DIR}
					tar -zcf ${SLOW_LOG_FILE_NAME}.tar.gz --remove-files ${SLOW_LOG_FILE_NAME} || echo_color "INFO" "tar -zcvf ${SLOW_LOG_TAR_DIR}/${SLOW_LOG_FILE_NAME}.tar.gz --remove-files ${SLOW_LOG_TAR_DIR}/${SLOW_LOG_FILE_NAME} failed. will be skip"
					cd ${old_tmp_dir}
					echo_color "INFO" "Rotation slow log success"
					#tar成功之后, 清除过期的备份日志
					for need_remove_file in `find ${SLOW_LOG_TAR_DIR} -mtime +${SLOW_LOG_TAR_EXPIRE_DAYS} -name "*_WILL_BE_DELETE.tar.gz"`
					do
						if [ -f ${need_remove_file} ];then
							rm -rf ${need_remove_file} && echo_color "INFO" "delete slow log ${need_remove_file} success"
						fi
					done
				else
					echo_color "ERROR" "mv ${SLOW_LOG_FILE} ${SLOW_LOG_TAR_DIR}/${SLOW_LOG_FILE_NAME} failed, will skip slow log"
				fi
			else
				echo_color "INFO" "slow log (${SLOW_LOG_FILE}) less than ${SLOW_LOG_MAX_SIZE}, will skip"
			fi
		else
			echo_color "ERROR" "Maybe Access denied; you need (at least one of) the RELOAD privilege(s) for this operation"
		fi
	else
		echo_color "INFO" "slow log ${SLOW_LOG_FILE} not exist, will skip"
	fi
}

clear_general_log(){
	if [ "${GENERAL_LOG_FILE}" == "" ];then
		echo_color "INFO" "GENERAL log (var:GENERAL_LOG_FILE) is null, will auto get"
		GENERAL_LOG_VAR=`echo $(${MYSQL1} -e "show global variables like 'general_log_file';" 2>/dev/null) | awk '{print $NF}'`
		if [ "${GENERAL_LOG_VAR:0:1}" == "/" ];then
			GENERAL_LOG_FILE=${GENERAL_LOG_VAR}
		else
			GENERAL_LOG_FILE=${MYSQL_DATA_DIR}${GENERAL_LOG_VAR}
		fi
	fi

	if [ -f ${GENERAL_LOG_FILE} ];then
		if $(${MYSQL1} -e "FLUSH GENERAL LOGS;" 2>/dev/null);then
			if [ "${GENERAL_LOG_TAR_DIR}" == "" ];then GENERAL_LOG_TAR_DIR=${GENERAL_LOG_FILE%/*};fi
			GENERAL_LOG_FILE_NAME=${GENERAL_LOG_FILE##*/}$(date +'%Y%m%d_%H%M%S')"_WILL_BE_DELETE"
			if [ $(du -sb ${GENERAL_LOG_FILE} | awk '{print $1}') -gt ${GENERAL_LOG_MAX_SIZE} ];then
				if mv ${GENERAL_LOG_FILE} ${GENERAL_LOG_TAR_DIR}/${GENERAL_LOG_FILE_NAME};then
					${MYSQL1} -e "FLUSH GENERAL LOGS;" 2>/dev/null || echo_color "ERROR" "maybe flush GENERAL log failed."
					old_tmp_dir=$(pwd)
					cd ${GENERAL_LOG_TAR_DIR}
					tar -zcf ${GENERAL_LOG_FILE_NAME}.tar.gz --remove-files ${GENERAL_LOG_FILE_NAME} || echo_color "INFO" "tar -zcvf ${GENERAL_LOG_TAR_DIR}/${GENERAL_LOG_FILE_NAME}.tar.gz --remove-files ${GENERAL_LOG_TAR_DIR}/${GENERAL_LOG_FILE_NAME} failed. will be skip"
					cd ${old_tmp_dir}
					echo_color "INFO" "Rotation GENERAL log success"
					#tar成功之后, 清除过期的备份日志
					for need_remove_file in `find ${GENERAL_LOG_TAR_DIR} -mtime +${GENERAL_LOG_TAR_EXPIRE_DAYS} -name "*_WILL_BE_DELETE.tar.gz"`
					do
						if [ -f ${need_remove_file} ];then
							rm -rf ${need_remove_file} && echo_color "INFO" "delete GENERAL log ${need_remove_file} success"
						fi
					done
				else
					echo_color "ERROR" "mv ${GENERAL_LOG_FILE} ${GENERAL_LOG_TAR_DIR}/${GENERAL_LOG_FILE_NAME} failed, will skip GENERAL log"
				fi
			else
				echo_color "INFO" "GENERAL log (${GENERAL_LOG_FILE}) less than ${GENERAL_LOG_MAX_SIZE}, will skip"
			fi
		else
			echo_color "ERROR" "Maybe Access denied; you need (at least one of) the RELOAD privilege(s) for this operation"
		fi
	else
		echo_color "INFO" "GENERAL log ${GENERAL_LOG_FILE} not exist, will skip"
	fi
}

if ${MYSQL1} -e "select @@version;" 1>/dev/null 2>&1 ;then
	export MYSQL_DATA_DIR=`echo $(${MYSQL1} -e "show global variables like 'datadir';" 2>/dev/null) | awk '{print $NF}'`
	clear_error_log
	clear_slow_log
	clear_general_log
else
	echo_color "ERROR" "connect failed, please check host:port or user/password"
fi

原文地址：https://cloud.tencent.com/developer/article/2014644

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

Shell云数据库 SQL Server

相关推荐

MySQL为Null会导致5个问题，个个致命！
在正式开始之前，我们先来看下 MySQL 服务器的配置和版本号信息，如下图所示： “兵马未动粮草先行”，看完了相关的配置之后，我们先来创建一张测试表和一些测试数据。 -- 如果存在 person 表先删除 DROP TABLE IF EXISTS person; -- 创建 person 表，其中
MySQL全面瓦解30：备份与恢复
> [合辑地址：MySQL全面瓦解](https://www.cnblogs.com/wzh2010/category/1859594.html "合辑地址：MySQL全面瓦解") # 1 为什么需要数据库备份 - 灾难恢复：当发生数据灾难的时候，需要对损坏的数据进行恢复和
MySQL全面瓦解28：分库分表
物理服务机的CPU、内存、存储设备、连接数等资源有限，某个时段大量连接同时执行操作，会导致数据库在处理上遇到性能瓶颈。为了解决这个问题，行业先驱门充分发扬了分而治之的思想，对大库表进行分割，
然后实施更好的控制和管理，同时使用多台机器的CPU、内存、存储，提供更好的性能。而分治有两种实现方式：垂直拆
MySQL全面瓦解29：分库分表之Partition功能详解
1 回顾 上一节我们详细讲解了如何对数据库进行分区操作，包括了 垂直拆分（Scale Up 纵向扩展）和 水平拆分（Scale Out 横向扩展） ，同时简要整理了水平分区的几种策略，现在来回顾一下。 2 水平分区的5种策略 2.1 Hash（哈希） 这种策略是通过对表的一个或多个列的Ha
navicat查看某个表的所有字段的详细信息
navicat查看某个表的所有字段的详细信息 navicat设计表只能一次查看一个字段的备注信息，那怎么才能做到一次性查询表的信息呢？SELECT COLUMN_NAME,COLUMN_COMMENT,COLUMN_TYPE,COLUMN_KEY FROM information_schema.CO
Linux下一次数据仓库进行迁移记录
文章浏览阅读4.3k次。转载请把头部出处链接和尾部二维码一起转载，本文出自逆流的鱼yuiop：http://blog.csdn.net/hejjunlin/article/details/52768613前言：数据库每天的数据不断增多，自动删除机制总体风险太大，想保留更多历史性的数据供查询，于是从小的hbase换到大的hbase上，势在必行。今天记录下这次数据仓库迁移。看下Agenda:彻底卸载MySQL安装MySQL_linux服务器进行数据迁移
记一次MySQL数据库恢复（附方案）
文章浏览阅读488次。恢复步骤概要备份frm、ibd文件如果mysql版本发生变化，安装回原本的mysql版本创建和原本库名一致新库，字符集都要保持一样通过frm获取到原先的表结构，通过的得到的表结构创建一个和原先结构一样的空表。使用“ALTER TABLE DISCARD TABLESPACE;”命令卸载掉表空间将原先的ibd拷贝到mysql的仓库下添加用户权限 “chown . .ibd”,如果是操作和mysql的使用权限一致可以跳过通过“ALTER TABLE IMPORT TABLESPACE;”命令恢_alter table discard tablespace
MySQL大表优化方案
文章浏览阅读225次。当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：字段尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNEDVARCHAR的长度只分配_开发项目 浏览记录表 过大怎么办
MySQL创建、删除用户
文章浏览阅读1.5k次。Mysql创建、删除用户MySql中添加用户,新建数据库,用户授权,删除用户,修改密码(注意每行后边都跟个;表示一个命令语句结束):1.新建用户登录MYSQL：@>mysql -u root -p@>密码创建用户：mysql> insert into mysql.user(Host,User,Password) values("localhost_删除mysql用户组
mysql字段默认字符串
MySQL是一种开源的关系型数据库管理系统，被广泛应用于各类应用程序的开发中。对于MySQL中的字段，我们需要进行数据类型以及默认值的设置，这对于数据的存储和使用至关重要。其中，有一个非常重要的概念就是MySQL字段默认字符串。 CREATE TABLE `my_...
mysql字符集正确的是
MySQL是一个流行的开源关系型数据库管理系统，广泛应用于Web应用程序开发、数据存储和管理。在使用MySQL时，正确设置字符集非常重要，以确保数据的正确性和可靠性。 在MySQL中，字符集表示为一系列字符和字母的集合。MySQL支持多种字符集，包括ASCII、UTF...
mysql存储函数 n以内偶数
MySQL存储函数 n以内偶数 MySQL存储函数能够帮助用户简化操作，提高效率，常常被用于计算和处理数据。下面我们就来了解一下如何使用MySQL存储函数计算n以内的偶数。 定义存储函数 首先，我们需要定义一个MySQL存储函数，以计算n以内的偶数。下...
mysql字符集以及校对规则
MySQL是一个流行的关系型数据库管理系统，基于客户机-服务器模式，可在各种操作系统上运行。 MySQL支持多种字符集，不同的字符集包括不同的字符，如字母、数字、符号等，并提供不同的排序规则，以满足不同语言环境的需求。 //查看MySQL支持的字符集与校对规...
mysql字符串截取后groupby
在MySQL数据库中，我们有时需要对特定的字符串进行截取并进行分组统计。这种操作对于数据分析和报表制作有着重要的应用。下面我们将讲解一些基本的字符串截取和分组统计的方法。 首先，我们可以使用substring函数对字段中的字符串进行截取。假设我们有一张表stude...
mysql字符串的查找函数
MySQL提供了多种字符串的查找函数。下面我们就一一介绍。 1. LIKE函数 SELECT * FROM mytable WHERE mycolumn LIKE 'apple%'; 其中"apple%"表示以apple开头的字符串，%表示任意多个字符...
mysql字符串不足补0
MySQL 是一种关系型数据库管理系统，广泛应用于各种不同规模和类型的应用程序中。在 MySQL 中，处理字符串数据是很常见的任务。有时候，我们需要在字符串的开头添加一定数量的 0 ，以达到一定的位数。比如，我们可能需要将一个数字转换为 4 位或 5 位的字符串，不足的...
mysql存什么类型数据类型
MySQL是一种流行的关系型数据库管理系统，支持多种数据类型。以下是MySQL所支持的数据类型： 1. 数值型数据类型： - TINYINT 保存-128到127范围内的整数 - SMALLINT 保存-32768到32767范围内的整数 - MEDIU...
mysql存emoji表情字段类型
MySQL中存储Emoji表情字段类型 在现代互联网生态中，表情符号已经成为人们展示情感和思想的重要方式之一，因此将表情符号存储到数据库中是一个经常出现的问题。MySQL作为最流行的开源关系型数据库管理系统之一，也需要能够存储和管理这些表情符号的字段类型。 UT...
mysql字符串存储类型数据
MySQL是一种关系型数据库管理系统。在MySQL数据库中，有多种不同的数据类型。而其中，最常见的数据类型之一就是字符串类型。在MySQL中，字符串类型的数据通常会被存储为TEXT或VARCHAR类型。 首先，让我们来看一下VARCHAR类型。VARCHAR是My...
mysql字符串取整
MySQL字符串取整知识详解 MySQL是一种开源的关系型数据库管理系统，广泛应用于各个领域。在使用MySQL过程当中，我们经常需要对数据进行取整操作。本文将介绍如何使用MySQL字符串取整来处理数据取整问题。 什么是MySQL字符串取整？ MySQL...
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot