3.Mysql之MHA实战(03)

1.前言

  前面基本上已经都讲完了MHA的原理部分,这小结主要是动手实操一下MHA

2.前提准备

  1.首先下载MHA软件包   

(1)#下载mha软件
  mha官网:https://code.google.com/archive/p/mysql-master-ha/
  github下载地址:https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads

  2.规划:

     我这里的一主两从的结构

   主节点:192.168.31.201:3307        从节点1:192.168.31.201:3308          从节点2:192.168.31.202:3307

     这里说明一下:manager包可以安装在任意一个节点上都行(一个),然后node包要安装到所有的节点上

     因此,这里我把manager包安装到从节点2上面,node节点包需要三台都安装

   3.配置免密钥

    mha所有的机器上都应该配置免密钥才行,这个是为后面的ssh 连接做准备的

    ssh-keygen -t rsa     ssh-copy-id  root@hostip      这个免密配置的有问题?  

  在主库中操作:
    rm -rf /root/.ssh

    ssh-keygen

    cd /root/.ssh

    mv id_rsa.pub authorized_keys

    scp -r /root/.ssh root@hostip:/root ###操作是将主库中的/root/.ssh 文件拷贝到其他从库的根目录下

  4.在主库中创建mha需要的用户(注意:应该此时主从复制已经存在,所以当主库建立用户mha时,从库中也相应的生成mha用户)

    grant all privileges on *.* to mha@'172.17.94.%' identified by '123';

3.开始实操

  安装依赖包(很重要)

yum install perl-DBI perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes perl-Params-Validate perl-DateTime -y

yum install epel-release -y

  然后再用  rpm -ivh  + mha-manager包名称安装

  MHA软件构成 

Manager工具包主要包括以下几个工具:
masterha_manger             启动MHA 
masterha_check_ssh      检查MHA的SSH配置状况 
masterha_check_repl         检查MySQL复制状况 
masterha_master_monitor     检测master是否宕机 
masterha_check_status       检测当前MHA运行状态 
masterha_master_switch  控制故障转移(自动或者手动)
masterha_conf_host      添加或删除配置的server信息

Node工具包主要包括以下几个工具:
这些工具通常由MHA Manager的脚本触发,无需人为操作
save_binary_logs            保存和复制master的二进制日志(脚本) 
apply_diff_relay_logs       识别差异的中继日志事件并将其差异的事件应用于其他的(脚本)
purge_relay_logs            清除中继日志(不会阻塞SQL线程)(脚本)

  配置文件

准备配置文件(这里的配置文件时安装MHA管理节点)
创建配置文件目录
 mkdir -p /etc/mha
创建日志目录
 mkdir -p /var/log/mha/app1
编辑mha配置文件
vim /etc/mha/app1.cnf
[server default]
manager_log=/var/log/mha/app1/manager        ###这个自己定义就可以了,这个是mha比较重要的日志
manager_workdir=/var/log/mha/app1            ###这个自己定义就可以了
master_binlog_dir=/data/binlog               ###这个是主库的binlog日志的位置,全局的binlog日志位置master_ip_failover_script=/usr/local/bin/master_ip_failover #添加脚本位置,这个是应用透明代理的(vip)管理的地方
user=mhapassword=123                               
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root                               
[server1]                                   
hostname=192.168.31.201
port=3307                                  
[server2]            
hostname=192.168.31.201
port=3308
[server3]
hostname=192.168.31.202
port=3308

4.开始启动

  节点状态检查(管理节点)

masterha_check_ssh  --conf=/etc/mha/app1.cnf    #互信检查
   
masterha_check_repl  --conf=/etc/mha/app1.cnf    #主从状态检查

  启动MHA  

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &

  关闭MHA

masterha_stop   --conf=/etc/mha/app1.cnf

  查看MHA状态 

masterha_check_status --conf=/etc/mha/app1.cnf####通过以下命令来验证
mysql -umha -p123 -h 192.168.31.201 -P3307 -e "show variables like 'server_id'"
mysql -umha -p123 -h 192.168.31.202 -P3307 -e "show variables like 'server_id'"
mysql -umha -p123 -h 192.168.31.201 -P3308 -e "show variables like 'server_id'" 

5.故障模拟以及处理

  模拟

    1.这里模拟停掉主库

      -->systemctl stop mysqld3307

    2.停掉主库后,发现mha进行退出,且mha中的配置文件中关于主库的配置信息被清除了

    3.通过mha的日志文件manager发现新的主节点已经被选择出来了

  处理:

    通过上面可以发现原主节点被宕掉了,且mha进程退出了,关于原主节点在配置文件中也被清除了,因此:

      当修复原主节点后,用change master to 命令重新指向新的主节点

      添加原主节点的信息到mha的配置文件中

      重启mha进程

6.VIP应用透明(master_ip_failover)

  实际应用中,如果MHA成功完成了Mysql的主从的切换,但由于切换前后主从IP发生了变更,需要需改连接信息来适配新环境,这个过程在线业务会受到影响,一般有三种方法来解决这个问题,第一种方式是通过keepalived来管理vip,即通过对浮动IP的管理来解决IP的改变,第二中是通过自定义脚本方式,自动迁移VIP,原理和第一种类似,第三种方式采用Mysql中间件,即应用和后端Mysql环境之前,增加中间件,从而通过中间件来‘感知’后端环境的变化

  这里主要介绍第二种通过自定义脚本的方式实现VIP漂移

  第一步:这里是master_ip_failover脚本修改后的一部分: 

###这个ip地址一定是可以访问的,在虚拟机中可以在相应的网段中找出一个没有使用的即可,但是如果是ECS服务器则不能使用VIP,就不能搭建透明代理
my $vip = '192.168.31.200/24';     
my $key = '0';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

   第二步:到master节点上配置:ifconfig  eth0:0 192.168.31.200/24    

   第三步:  重启MHA进程 

  

7.binlog-server配置

  主库宕机,也许会造成主库binlog复制不及时而导致数据丢失的情况出现,因此配置binlog-server进行时时同步备份,是必要的一种安全手段。    

  1.修改mha配置文件 

vim /etc/mha/mha1.cnf
在最后添加模块
[binlog1]           #添加binlog模块
no_master=1         #不允许切换为主
hostname=192.168.50.152       #本地IP
master_binlog_dir=/data/binlogserver/       #binlog存放位置优先级比全局的高

  2.拉取主库上的binlog日志到mysql-db03的存放目录里  

mkdir -p /data/mysql/binlog    #创建存放目录
cd /data/mysql/binlog/ #进入存放目录
mysqlbinlog -R --host=192.168.50.149 --user=mha --password=123456 --raw --stop-never mysql-bin.000001 &     #拉取主库binlog 主库IP  注意binlog日志名称
ll      #查看是否拉取了binlog
ps -ef | grep mysqlbinlog | grep -v grep  #查看拉取进程
#启动mha进程
nohup masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/mha1/manager.log 2>&1 &    
#查看mha进程
ps -ef | grep perl | grep -v grep       

8.附录

  1.app1.conf配置 

[server default]
manager_log=/etc/mha/log/app1.log
manager_workdir=/etc/mha/app1/
master_binlog_dir=/data/mysql3306
master_ip_failover_script=/etc/mha/master_ip_failover
master_ip_online_change_script=/etc/mha/master_ip_online_change
ping_interval=1
remote_workdir=/tmp
secondary_check_script=/bin/masterha_secondary_check -s ip235 -s ip236 --user=root --master_host=ip230 --master_ip=192.168.0.230 --master_port=3306
ssh_user=root
user=mha
password=mha
repl_password=repl
repl_user=repl
#report_script=/usr/local/send_report ##告警脚本,可自行修改,这里没有使用
#设置故障发生后关闭故障主机的脚本(主要作用是关闭主机防止发生脑裂,这里没有使用,类似Fence功能)
#shutdown_script="/usr/local/bin/power_manager --command=stopssh2 --host=test-1 --ssh_user=root"
[server1]
hostname=192.168.0.230
port=3306
[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.0.235
port=3306
[server3]
hostname=192.168.0.236
port=3306

  2.配置解释 

manager_log=/etc/mha/log/app1.log  #日志位置
manager_workdir=/etc/mha/app1/  # MHA工作目录
master_binlog_dir=/data/mysql3306  #设置Master保存binlog位置的目录
master_ip_failover_script=/etc/mha/master_ip_failover #自动Failover脚本
master_ip_online_change_script=/etc/mha/master_ip_online_change #设置手动切换脚本
ping_interval=1  #设置监控主库的间隔
remote_workdir=/tmp  #binlog临时保存目录
secondary_check_script=/bin/masterha_secondary_check -s ip235 -s ip236 --user=root --master_host=ip230 --master_ip=192.168.0.230 --master_port=3306 #检查存活脚本
ssh_user=root #ssh登录名
user=mha  #MHA监控所有MySQL节点的用户名
password=mha  #MHA监控所有MySQL节点的密码
repl_user=repl #MySQL复制的用户名
repl_password=repl #MySQL复制的密码# 告警脚本,可自行修改,这里没有使用 #report_script=/usr/local/send_report
[server2]
candidate_master=1  #候选主库
check_repl_delay=0  #忽略延迟大小
hostname=192.168.0.235

  3.master_ip_failover脚本 

#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

my $vip = '192.168.0.20/24';
my $key = 'wvip';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
);

exit &main();

sub main {

    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
     return 0  unless  ($ssh_user);
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

  4.master_ip_online_change脚本

#!/usr/bin/env perl  
use strict;  
use warnings FATAL =>'all';  
  
use Getopt::Long;  
  
my $vip = '192.168.0.20/24';  # Virtual IP  
my $key = "wvip";  
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";  
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";  
my $exit_code = 0;  
my $orig_master_ssh_user='root';  
my $new_master_ssh_user='root';

my (  
  $command,              $orig_master_is_new_slave, $orig_master_host,  
  $orig_master_ip,       $orig_master_port,         $orig_master_user,  
  $orig_master_password,      $new_master_host,  
  $new_master_ip,        $new_master_port,          $new_master_user,  
  $new_master_password,   
);  
GetOptions(  
  'command=s'                => \$command,  
  'orig_master_is_new_slave' => \$orig_master_is_new_slave,  
  'orig_master_host=s'       => \$orig_master_host,  
  'orig_master_ip=s'         => \$orig_master_ip,  
  'orig_master_port=i'       => \$orig_master_port,  
  'orig_master_user=s'       => \$orig_master_user,  
  'orig_master_password=s'   => \$orig_master_password,  
  'orig_master_ssh_user=s'   => \$orig_master_ssh_user,  
  'new_master_host=s'        => \$new_master_host,  
  'new_master_ip=s'          => \$new_master_ip,  
  'new_master_port=i'        => \$new_master_port,  
  'new_master_user=s'        => \$new_master_user,  
  'new_master_password=s'    => \$new_master_password,  
  'new_master_ssh_user=s'    => \$new_master_ssh_user,  
);  
  
  
exit &main();  
  
sub main {  
  
#print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";  
  
if ( $command eq "stop" || $command eq "stopssh" ) {  
  
        # $orig_master_host, $orig_master_ip, $orig_master_port are passed.  
        # If you manage master ip address at global catalog database,  
        # invalidate orig_master_ip here.  
        my $exit_code = 1;  
        eval {  
            print "\n\n\n***************************************************************\n";  
            print "Disabling the VIP - $vip on old master: $orig_master_host\n";  
            print "***************************************************************\n\n\n\n";  
&stop_vip();  
            $exit_code = 0;  
        };  
        if ($@) {  
            warn "Got Error: $@\n";  
            exit $exit_code;  
        }  
        exit $exit_code;  
}  
elsif ( $command eq "start" ) {  
  
        # all arguments are passed.  
        # If you manage master ip address at global catalog database,  
        # activate new_master_ip here.  
        # You can also grant write access (create user, set read_only=0, etc) here.  
my $exit_code = 10;  
        eval {  
            print "\n\n\n***************************************************************\n";  
            print "Enabling the VIP - $vip on new master: $new_master_host \n";  
            print "***************************************************************\n\n\n\n";  
&start_vip();  
            $exit_code = 0;  
        };  
        if ($@) {  
            warn $@;  
            exit $exit_code;  
        }  
        exit $exit_code;  
}  
elsif ( $command eq "status" ) {  
        print "Checking the Status of the script.. OK \n";  
        `ssh $orig_master_ssh_user\@$orig_master_host \" $ssh_start_vip \"`;  
        exit 0;  
}  
else {  
&usage();  
        exit 1;  
}  
}  
  
# A simple system call that enable the VIP on the new master  
sub start_vip() {  
`ssh $new_master_ssh_user\@$new_master_host \" $ssh_start_vip \"`;  
}  
# A simple system call that disable the VIP on the old_master  
sub stop_vip() {  
`ssh $orig_master_ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;  
}  
  
sub usage {  
print  
"Usage: master_ip_failover –command=start|stop|stopssh|status –orig_master_host=host –orig_master_ip=ip –orig_master_port=po  
rt –new_master_host=host –new_master_ip=ip –new_master_port=port\n";  
}

 

参考文章:https://www.cnblogs.com/ywrj/p/9443215.html

     https://blog.csdn.net/leshami/article/details/45165929

     https://blog.csdn.net/zd2931516196/article/details/82693229   (邮件告警)

     https://blog.csdn.net/shm19990131/article/details/107428560  (邮件告警)

      

 

 

 

 

 

 

    

原文地址:https://www.cnblogs.com/zmc60/p/15171085.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


背景:我已经有一个ssh公钥和私钥了,绑定的是公司的码云但是绑定github是不允许的所以我需要在生成一个公钥和私钥第一步执行下面的命令, 至于如果生成ssh公钥点击这里ssh-keygen-trsa-C'your_email@example.com'-f~/.ssh/id_rsa_github然后一路回车 这里注意id_srs_g
在服务器程序的部署运维过程中,我们经常需要将文件从一个服务器拷贝到另一个服务器中。可以使用ftp,可以使用samba服务,这里我们介绍scp命令进行文件的拷贝和传输。scp是securecopy的缩写,scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。scp是加
#!/bin/bash#创建一个以.sc结尾的文件,把要操作的主机按顺序填写进去,多个IP另起一行顶格填写例如:#192.168.0.1#192.168.0.2#确保当前操作脚本的主机,已经可以免密到被操作主机,如未完成请自行解决。do_command(){hosts=`sed-n'/^[^#]/p'*.sc`forhost
打开终端安装openssh-server软件包:sudoaptupdatesudoaptinstallopenssh-server安装完成后,SSH服务默认自动启动,你可以通过以下命令校验服务运行状态:sudosystemctlstatusssh如果防火墙开启,则需要让防火墙允许ssh通过sudoufwallowssh注意事项VMware虚拟
环境centos7.9,.NET5一、Jenkins搭建1)下载Jenkins的war包在\home目录建一个jenkins目录放jenkins的包#进入\home目录cd\home#创建jenkins目录mkdirjenkins在jenkins目录下载war包#进入jenkin目录cd\home\jenkins#下载jenkins的war包wgethttp://mirrors.jenkin
dropbear下载地址:https://matt.ucc.asn.au/dropbeareleases/dropbear-2020.81.tar.bz2软件版本号说明opensuse 15.3 ssh8 dropbear2020.81     安装编译器和依赖:zypperinstallzlib-develgcc配置安装目录:./configure--prefix=/
1.前言前面基本上已经都讲完了MHA的原理部分,这小结主要是动手实操一下MHA2.前提准备1.首先下载MHA软件包(1)#下载mha软件mha官网:https://code.google.com/archive/p/mysql-master-ha/github下载地址:https://github.com/yoshinorim/mha4mysql-manager
前期准备确定服务器可以上网apt源配置完毕安装ssh使用apt安装openssh服务。sudoapt-getinstallopenssh-server启动sshroot@cka01:~#sudo/etc/init.d/sshstart#确定22端口存在并存活root@cka01:~#ss-tnl|grep22LISTEN01280.0.0
1.首先你需要在github上或者gitlab上建立了自己的账户,项目组已经将你加入了group。2.打开gitbash,输入命令ls-al~/.ssh如果显示如下图:则表示生成过key,可以去执行第4个步骤。否则的话执行第三个步骤生成key  3.这个时候输入命令ssh-keygen-trsa-C"min~~~~"  这
简述Linux如何远程拷贝,限速和断点续传scp命令 –远程拷贝文件scp拷贝本地文件filename到远程机器192.168.188.188服务器的/datamp目录下scp-P61204-l40000filenameusername@192.168.188.188:/datamp/ -PportSpecifiestheporttoconnecttoontherem
最近两天发现push代码到GitHub上时,发现必须得用SSH或者Token的方式。直接上干货1.SSH方式 1.1在桌面上GitBashHere 1.2检查是否已存在SSH   如果已存在,则直接进入.ssh目录1.3不存在,则创建一个SSHkey(如果不需要设置输入密码,一直回车就好)$ssh-keygen
安装命令yuminstallopenssh-clientsLinuxscp命令用于Linux之间复制文件和目录。scp是securecopy的缩写,scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。scp是加密的,rcp 是不加密的,scp是rcp的加强版。语法scp[-1246BCpqrv][-ccipher][-F
1.环境介绍1.本地为windows2.远程为linux2.本地安装ssh环境我这里下载了git,所以在环境变量里把/git/usr/bin加进去就可以了3.本地vscode安装远程开发插件Remote-development是一个集成插件,安装它就可以了4.生成ssh秘钥对,并将公钥放入远程机#本地机生成秘钥对$s
文章链接故障表现在使用jumperver登录AWSec2实例的时候发现ssh配合秘钥登录的时候无法登录,具体报错如下:ssh-i/path/xx.pemuser@10.0.11.190Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic).问题排查过程在发现无法登录的第一时间等了AWS平台查
1.给root用户设置密码sudopasswdroot2.修改sshd配置文件sudonano/etc/ssh/sshd_config修改PermitRootLoginyes把PermitRootLoginwithout-password或者PermitRootLoginprohibit-password改为PermitRootLoginyes,注意PermitRootLoginwithout-password可能被注
手上有一台12.4的ios机器,通过SecureCrt可以ssh上去,但是每次连接的时候都会报“KeyboardInteractive”错误,skip即可,但是通过ssh客户端连接,却无法正常连接,错误提示如下:@127.0.0.1:Permissiondenied(publickey,password,keyboard-interactive) 开始以为是KeyboardInteract
1、创建私有CA并进行证书申请。1.创建CA所需要文件#生成证书索引数据库文件touch/etc/pki/CA/index.txt#指定第一个颁发证书的序列号echo01>/etc/pki/CA/serial2、生成CA私钥cd/etc/pki/CA/(umask066;opensslgenrsa-outprivate/cakey.pem2048)3、生成CA自签名证书op
克隆两台虚拟机加master三台组成一个集群 所克隆的虚拟机需要修改主机名,ip 永久修改主机名 hostnamectlset-hostnamenode1或node2 ip 方式1: 通过可视化界面直接修改 方式2: vim/etc/sysconfigetwork-scripts/ifcfg-ens33 然后重启网络:servicenetworkrestart
SSH配置文件中加密算法没有指定,默认支持所有加密算法,包括arcfour,arcfour128,arcfour256等弱加密算法。但是目前RC4是不安全算法若数据库安全性要求比较高,这个漏洞还是必须要修复的,下面记录下OracleRAC修复过程,此修复过程不影响现有系统。如有不当欢迎斧正。1、root权限用户才能
问题:通过XShell等客户端使用ssh方式通过root用户连接Ubuntu虚拟机时,出现SSH服务器拒绝了密码,请再试一次。解决:安装ssh,开启root用户登录权限。1安装ssh-serverroot@ubuntu:/etc/apt#apt-getinstallopenssh-server安装ssh-server2安装ssh-clientroot@ubuntu:/etc/apt#ap