利用MySQL备份工具mydumper备份代码

下面是编程之家 jb51.cc 通过网络收集整理的代码片段。

编程之家小编现在分享给大家,也给大家做个参考。

    #!/usr/bin/phthon  
      
      
    import os  
    import time  
    import commands  
    import shutil  
    import threading  
    from os.path import join,getsize  
    import MySQLdb as mydb  
      
      
    # 备份目录  
    baseDir = "/data2/backup/backup_data/"  
      
      
    # ns 或 wx;  备份后是否要压缩(mydumper 自带压缩功能),要压缩 True,否则 False.  
    idc = 'ns'; isZip = True  
      
      
    # 备份失败是否重试 ,True 则重试,不重试 设 False,retry_sleep 多久后才开始重试(秒)  
    is_errRetryBackup = True; retry_sleep = 300  
      
      
    # 备份日期  
    backup_date = time.strftime("%Y%m%d")  
      
      
    # 备份命令  
    cmd  = "/usr/local/bin/mydumper -h %s -u root -p password? -P %s %s -t 5 -o %s"  
      
      
    ''''' 
    功能描述: 
      1. mydumper 远程批量备份,备份列表由配置文件提供 
      2. 可按要求对备份是否压缩(mydumper 自动压缩) 
      3. 备份失败允许再尝试备份一次 
      4. 备份信息写入数据库 
    '''  
    def main():  
        thread_pool = []  
      
      
        # 是否启用压缩  
        zip = '-c' if isZip == True else ''  
      
      
        # 从配置文件读取 ip,名称,端口,并拼凑备份语句  
        #f = open('/data2/backup/cnf/other_list.cnf','r')  
        f = open('/data/other_list.cnf','r')  
        for lines in f.readlines():  
            if (not lines.startswith('#') and len(lines.strip()) > 0):  
                str = lines.split()  
                host,businessName,port,isMaster = str[0],str[1],str[2],str[3]  
                # 业务文件夹不存在则创建  
                dir = baseDir + '/' + businessName;  
                if (not os.path.exists(dir)):  
                     os.makedirs(dir)  
      
      
                dir += "/%s%s" % (businessName,backup_date)  
                # 业务目录: dir,备份目录: dir/name+备份日期  
                strcmd  = cmd % (host,zip,dir)  
      
      
                th = threading.Thread(target = mydumper,args =(strcmd,dir,host,is_errRetryBackup,int(isMaster)))  
                thread_pool.append(th)  
      
      
        if (thread_pool):  
            for t in thread_pool:  
                t.daemon = True  
                t.start()  
            for t in thread_pool:  
                t.join()  
      
      
    def mydumper(sCmd,backupDir,is_Retry,isMaster):  
        master_host = ""; backup_host = host; name = businessName; port = port; backup_type = 1; file = "";  
        start_time = ""; stop_time = ""; returncode = 0; file_size = 0; slave_statement = ""; std_err = "";  
      
      
        start_time = time.strftime("%Y%m%d%H%M%S")  
      
      
        # 清除可能遗留的备份  
        if (os.path.exists(backupDir)):  
            shutil.rmtree(backupDir)  
      
      
        # 执行备份  
        returncode,std_err = execute(sCmd)  
      
      
        stop_time = time.strftime("%Y%m%d%H%M%S")  
      
      
        if (returncode == 0):  
            # 备份 std_err 返回不为空也视为出错。  
            if (std_err.strip() != ""):  
                returncode = 123456  
            else:  
                # 获取 change master to 信息,再次校验备份是否有效  
                returncode,std_err,master_host,slave_statement = statement(backupDir,backup_host,isMaster)  
      
      
                if (returncode == 0):  
                    file = backupDir  
      
      
        if (returncode != 0):  
            # 异常备份标记为: 日期 + _ERR  
            errDir = backupDir + "_ERR"  
            os.rename(backupDir,errDir)  
            file = errDir  
      
      
        # 获取备份大小  
        file_size = getDirsize(file)  
      
      
        if (len(std_err) > 255):  
            std_err = std_err[:250] + "..."  
      
      
        my_args  = [idc,name,backup_type,file,start_time,stop_time,returncode,file_size,slave_statement,std_err]  
      
      
        # 写入数据库  
        call_proc(my_args)  
      
      
        # 备份失败是否需要重备? 重备允许一次.  
        if (is_Retry == True and returncode != 0):  
            time.sleep(retry_sleep)  
      
      
            oldfile = sCmd.split('-o')[1]  
            pos = oldfile.rfind("/") + 1  
      
      
            # 获取备份全路径,备份文件标记为重备 字样  
            retry_file = oldfile[:pos] + "ReBackup-" + oldfile[pos:]  
      
      
            retryCmd = sCmd.replace(oldfile,retry_file)  
      
      
            # 重备开始  
            mydumper(retryCmd,retry_file.strip(),False,isMaster)  
      
      
    def getDirsize(path):  
        # 获取备份文件夹大小  
        size = 0L  
        for root,dirs,files in os.walk(path):  
            size += sum([getsize(join(root,name)) for name in files])  
        return (size)  
      
      
    def statement(path,isMaster):  
        ''''' 
        功能: 从 metadata 读取change master to 信息 
        1. 备份过程: 会先生成: metadata.partial,完成后metadata.partial会重名为: metadata 并写入备份完成时间 
        2. metadata 分3段: 
           (1) Started dump: 备份开始时间. 
           (2) master 的log-file 和 log-pos 信息 (必有); slave 的host、log-file 和 log-pos 信息 (备机是slave 才有) 
           (3) Finished dump: 备份结束时间 
        3. 返回错码,master_host 和 change master to 信息 
        '''  
        path += "/metadata"; sMetadata = ""; master_host = ""; er_code = 654321; er_info = "%s not exists !!!" % (path)  
      
      
        if (os.path.exists(path)):  
            if (isMaster != 1):  
                # 备机是 slave  
                num = 3  
                sFinds = "SLAVE STATUS"  
            else:  
                num = 2  
                sFinds = "MASTER STATUS"  
      
      
            f = open(path,'r')  
            rows = f.readlines(); i = 100; lst =[]  
            for s in rows:  
                if (s.find(sFinds) > 0):  
                    i = 1; continue  
      
      
                if (i <= num):  
                    lst.append(s.split(':')[1].strip())  
                    i += 1  
      
      
            if (isMaster == 1):  
                # 备机是 master  
                master_host = backup_host  
                log_file,log_pos = lst;  
            else:  
                # 备机是 slave  
                master_host,log_file,log_pos = lst;  
      
      
            er_code = 0  
            er_info = ""  
            sMetadata = "CHANGE MASTER TO MASTER_HOST='%s',MASTER_LOG_FILE='%s',MASTER_LOG_POS=%s,MASTER_USER='rep_user',MASTER_PASSWORD='meizu.com'" % (master_host,log_pos )  
      
      
        return (er_code,er_info,sMetadata)  
      
      
    def execute(cmd):  
        ''''' 
        1.执行 shell 命令 
        2.返回执行信息 (returncode = 0 则执行成功,std_err 为报错的错误信息) 
        '''  
        try:  
            returncode,std_err = commands.getstatusoutput(cmd)  
            return (returncode,std_err)  
        except os.error,e:  
            # 异常返回 1001 错误  
            return (1001,e)  
      
      
    def call_proc(my_args):  
        # 备份信息写入数据库  
        try:  
            conn = mydb.connect(host = '127.0.0.1',user = 'test',passwd = 'zxc/213?',db = 'meizu_item')  
            cur  = conn.cursor()  
      
      
            cur.callproc('sp_backup_i',[my_args[0],my_args[1],my_args[2],my_args[3],my_args[4],my_args[5],my_args[6],my_args[7],my_args[8],my_args[9],my_args[10],my_args[11],my_args[12]])  
            conn.commit()  
        except mydb.Error,e:  
            pass  
            # print "Mysql Error %d: %s" % (e.args[0],e.args[1])  
        finally:  
            cur.close(); conn.close()  
      
      
    if __name__ == '__main__':  
        main()  

以上是编程之家(jb51.cc)为你收集整理的全部代码内容,希望文章能够帮你解决所遇到的程序开发问题。

如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


navicat查看某个表的所有字段的详细信息 navicat设计表只能一次查看一个字段的备注信息,那怎么才能做到一次性查询表的信息呢?SELECT COLUMN_NAME,COLUMN_COMMENT,COLUMN_TYPE,COLUMN_KEY FROM information_schema.CO
文章浏览阅读4.3k次。转载请把头部出处链接和尾部二维码一起转载,本文出自逆流的鱼yuiop:http://blog.csdn.net/hejjunlin/article/details/52768613前言:数据库每天的数据不断增多,自动删除机制总体风险太大,想保留更多历史性的数据供查询,于是从小的hbase换到大的hbase上,势在必行。今天记录下这次数据仓库迁移。看下Agenda:彻底卸载MySQL安装MySQL_linux服务器进行数据迁移
文章浏览阅读488次。恢复步骤概要备份frm、ibd文件如果mysql版本发生变化,安装回原本的mysql版本创建和原本库名一致新库,字符集都要保持一样通过frm获取到原先的表结构,通过的得到的表结构创建一个和原先结构一样的空表。使用“ALTER TABLE DISCARD TABLESPACE;”命令卸载掉表空间将原先的ibd拷贝到mysql的仓库下添加用户权限 “chown . .ibd”,如果是操作和mysql的使用权限一致可以跳过通过“ALTER TABLE IMPORT TABLESPACE;”命令恢_alter table discard tablespace
文章浏览阅读225次。当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化:单表优化除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量:字段尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT,如果非负则加上UNSIGNEDVARCHAR的长度只分配_开发项目 浏览记录表 过大怎么办
文章浏览阅读1.5k次。Mysql创建、删除用户MySql中添加用户,新建数据库,用户授权,删除用户,修改密码(注意每行后边都跟个;表示一个命令语句结束):1.新建用户登录MYSQL:@>mysql -u root -p@>密码创建用户:mysql> insert into mysql.user(Host,User,Password) values("localhost_删除mysql用户组
MySQL是一种开源的关系型数据库管理系统,被广泛应用于各类应用程序的开发中。对于MySQL中的字段,我们需要进行数据类型以及默认值的设置,这对于数据的存储和使用至关重要。其中,有一个非常重要的概念就是MySQL字段默认字符串。 CREATE TABLE `my_...
MySQL是一个流行的开源关系型数据库管理系统,广泛应用于Web应用程序开发、数据存储和管理。在使用MySQL时,正确设置字符集非常重要,以确保数据的正确性和可靠性。 在MySQL中,字符集表示为一系列字符和字母的集合。MySQL支持多种字符集,包括ASCII、UTF...
MySQL存储函数 n以内偶数 MySQL存储函数能够帮助用户简化操作,提高效率,常常被用于计算和处理数据。下面我们就来了解一下如何使用MySQL存储函数计算n以内的偶数。 定义存储函数 首先,我们需要定义一个MySQL存储函数,以计算n以内的偶数。下...
MySQL是一个流行的关系型数据库管理系统,基于客户机-服务器模式,可在各种操作系统上运行。 MySQL支持多种字符集,不同的字符集包括不同的字符,如字母、数字、符号等,并提供不同的排序规则,以满足不同语言环境的需求。 //查看MySQL支持的字符集与校对规...
在MySQL数据库中,我们有时需要对特定的字符串进行截取并进行分组统计。这种操作对于数据分析和报表制作有着重要的应用。下面我们将讲解一些基本的字符串截取和分组统计的方法。 首先,我们可以使用substring函数对字段中的字符串进行截取。假设我们有一张表stude...
MySQL提供了多种字符串的查找函数。下面我们就一一介绍。 1. LIKE函数 SELECT * FROM mytable WHERE mycolumn LIKE 'apple%'; 其中"apple%"表示以apple开头的字符串,%表示任意多个字符...
MySQL 是一种关系型数据库管理系统,广泛应用于各种不同规模和类型的应用程序中。在 MySQL 中,处理字符串数据是很常见的任务。有时候,我们需要在字符串的开头添加一定数量的 0 ,以达到一定的位数。比如,我们可能需要将一个数字转换为 4 位或 5 位的字符串,不足的...
MySQL是一种流行的关系型数据库管理系统,支持多种数据类型。以下是MySQL所支持的数据类型: 1. 数值型数据类型: - TINYINT 保存-128到127范围内的整数 - SMALLINT 保存-32768到32767范围内的整数 - MEDIU...
MySQL中存储Emoji表情字段类型 在现代互联网生态中,表情符号已经成为人们展示情感和思想的重要方式之一,因此将表情符号存储到数据库中是一个经常出现的问题。MySQL作为最流行的开源关系型数据库管理系统之一,也需要能够存储和管理这些表情符号的字段类型。 UT...
MySQL是一种关系型数据库管理系统。在MySQL数据库中,有多种不同的数据类型。而其中,最常见的数据类型之一就是字符串类型。在MySQL中,字符串类型的数据通常会被存储为TEXT或VARCHAR类型。 首先,让我们来看一下VARCHAR类型。VARCHAR是My...
MySQL字符串取整知识详解 MySQL是一种开源的关系型数据库管理系统,广泛应用于各个领域。在使用MySQL过程当中,我们经常需要对数据进行取整操作。本文将介绍如何使用MySQL字符串取整来处理数据取整问题。 什么是MySQL字符串取整? MySQL...
使用MySQL进行数据存储是现代应用程序开发中一个非常重要的组成部分。在MySQL中,数据存储的一个重要特点就是字符长度无限制。在下文中,我们将会详细探讨MySQL字符长度无限制的特征和优势。 什么是MySQL字符长度无限制? MySQL字符长度无限制是指在...
在MySQL中,常常会涉及到字符串和数字之间的比较。然而它们有着不同的排序规则,因此需要注意对它们进行正确的比较。 首先我们来看一下数字比较。 SELECT 1 < 2; -- 返回 1 SELECT 2 > 1; -- 返回 1 SELEC...
MySQL是一种流行的关系型数据库管理系统,可以处理各种不同类型的数据。其中字符串是MySQL中最重要的数据类型之一,因为它可以存储各种不同的数据,例如邮件地址、文本信息、数字等等。在MySQL中,有时候我们需要将字符串按照某个符合进行分隔,例如将一条包含多个数字的字符...
在MySQL中,我们经常需要将字符串与变量拼接起来,以便满足数据操作的需求。可以使用CONCAT函数来进行字符串与变量的拼接,下面是一个使用CONCAT函数的例子: SELECT CONCAT('Hello', ' ', 'world'); 这个例子...