Rsync+Sersync数据实时同步双向

Rsync+Sersync数据实时同步(双向)

服务介绍

一、为什么要用rsync+sersync架构?

  • 1、sersync是基于inotify开发的,类似于inotify-tools的工具

  • 2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录

  • 3因为服务异常导致的同步失败有记录,便于恢复,确保高可用!

二、rsync+inotify-tools与rsync+sersync架构的区别?

  • 1、rsync+inotify-tools

a、inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪个文件或者哪个目录发生了变化记录下来;

b、rsync在同步的时候,并不知道具体是哪个文件或目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此效率很低

  • 2、rsync+sersync

a、sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;

b、rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。

同步过程:

1. 在同步服务器上开启sersync服务,sersync负责监控配置路径中的文件系统事件变化;

2. 调用rsync命令把更新的文件同步到目标服务器;

3. 需要在主服务器配置sersync,在同步目标服务器配置rsync server(注意:是rsync服务)

同步过程和原理:

  • 1. 用户实时的往sersync服务器上写入更新文件数据;

  • 2. 此时需要在同步主服务器上配置sersync服务;

  • -3. 在另一台服务器开启rsync守护进程服务,以同步拉取来自sersync服务器上的数据;

通过rsync的守护进程服务后可以发现,实际上sersync就是监控本地的数据写入或更新事件;然后,在调用rsync客户端的命令,将写入或更新事件对应的文件通过rsync推送到目标服务器

节点声明

#双向备份
192.168.0.50(数据源节点、备份节点)
192.168.0.51(数据源节点、备份节点)

编译环境配置

本教程是基于CentOs 7.5系统配置的,为了适合不同环境配置的节点安装,本教程将采用编译安装的方式

[root@cosmo-0-50 bin]# cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core) 

# 环境检查

#查看gcc【编译器】版本
gcc -v 
#查看perl【解释器】版本
perl -v

# 提示无该命令则需要安装,如果有版本信息则直接执行下步操作
#安装编译器gcc:
 
 #第一步:上传gcc_rpm.tar.gz到/usr/src 下
 #第二步:解压缩到/usr/local
  cd /usr/src
  tar -zxvf gcc_rpm.tar.gz -C /usr/local
  
 #第三步:rpm安装
  cd /usr/local/gcc_rpm
  rpm -Uvh  *.rpm  --nodeps  --force  
  
 #第四步:版本查看,确认是否安装成功
  gcc -v 和 g++ -v  
 
 
#安装解释器perl[http://search.cpan.org/CPAN/authors/id/S/SH/SHAY]:
 
 #第一步:上传perl-5.26.1.tar.gz到/usr/src 下
 #第二步:解压缩到 /usr/local/perl
  cd /usr/src
  tar -zxvf perl-5.26.1.tar.gz  -C /usr/local
  
 #第三步:进入文件目录,设置config
  cd /opt/perl-5.26.1/
  ./Configure -des -Dprefix=/usr/local/perl
  
 #第四步:编译并检测
  make && make test
 【出现All tests successful:编译及检测成功】
 
 #第五步:安装
  make install
  
 #第六步:验证
  perl -v

安装Rsync

# 将rsync.tar包上传至安装节点/opt/cosmo/com/rsync目录下
[root@cosmo-0-50 rsync]# ls
rsync-3.0.9.tar.gz  

#然后解压
tar -zxvf rsync-3.0.9.tar.gz

# 编译
cd rsync-3.0.9
./configure --prefix=/opt/cosmo/rsync
make  && make install && echo $?

# 验证
echo $?的值为0代表执行成功

编辑Rsync配置文件

192.168.0.50

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsyncd.conf
uid = root                          
gid = root                          
address =192.168.0.50               
port =873                           
hosts allow =192.168.0.0/24         
use chroot = yes                    
max connections =10                  
pid file =/var/run/rsyncd.pid       
lock file =/var/run/rsync.lock      
log file =/var/log/rsyncd.log       
motd file =/etc/rsyncd.motd

 
[wwwroot]                           
path =/opt/cosmo/test/                    
comment = used for web-data root    
read only = false                   
list = yes                          
auth users = rsyncuser              
secrets file =/etc/rsync.passwd

配置文件解析

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsyncd.conf
uid = root                         #运行进程的身份                     
gid = root                         #运行进程的组                
address =192.168.0.50              #监听IP          
port =873                          #监听端口              
hosts allow =192.168.0.0/24        #允许同步客户端的IP地址,可以是网段,或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0  
use chroot = yes                   #是否囚牢,锁定家目录,rsync被黑之后,黑客无法再rsync运行的家目录之外创建文件,选项设置为yes            
max connections =10                 #最大连接数           
pid file =/var/run/rsyncd.pid       #进程PID,自动生成  
lock file =/var/run/rsync.lock      #指max connectios参数的锁文件
log file =/var/log/rsyncd.log       #日志文件位置

 
[wwwroot]                           #同步模块名称           
path =/opt/cosmo/test/              #同步文件路径     
comment = used for web-data root    #模块描述
read only = false                   #设置服务端文件读写权限   
list = yes                          #是否允许查看模块信息
auth users = rsyncuser              #备份的用户,和系统用户无关
secrets file =/etc/rsync.passwd     #存放用户的密码文件,格式是  用户名:密码

配置密码文件

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsync.passwd
rsyncuser:password123
#用户名:密码

[root@cosmo-0-50 bin]#chmod 600 /etc/rsync.passwd  
#目录权限必须是700或者600,否则的话身份验证会失效,设置rsync user的时候

#创建sersync密码文件
[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsync2.passwd 
password123

启动rsync验证

#启动命令
[root@cosmo-0-50 bin]#/opt/cosmo/rsync/bin/rsync --daemon --config=/opt/cosmo/rsync/bin/rsyncd.conf

# 查看进程
ps -e|grep rsync

#查看端口(此命令没有的话需安装net-tools)
netstat -antup|grep 873

# 同步测试
rsync -avz  /opt/cosmo/test/ root@192.168.0.51:/opt/cosmo/test/

# 设置开机自启动
  echo "/opt/cosmo/rsync/bin/rsync --daemon --config=/opt/cosmo/rsync/bin/rsyncd" >> /etc/rc.local
  
  • 51节点rsync安装和50步骤一致

安装sersync服务

# 将sersync的软件包上传至安装节点/opt/cosmo/com下
# 解压
tar xvf sersync2.5.4_51bit_binary_stable_final.tar.gz

# 修改包名
[root@cosmo-0-51 sersyncdir]# mv GNU-Linux-x86 sersyncdir
[root@cosmo-0-51 sersyncdir]# cd sersyncdir
[root@cosmo-0-51 sersyncdir]# ls
sersync

[root@cosmo-0-51 sersyncdir]# cd sersync/
[root@cosmo-0-51 sersync]# ls
confxml.xml  sersync2

配置sersync服务

# [root@cosmo-0-50 sersync]# cat confxml.xml 

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
        <exclude expression="(.*)\.svn"></exclude>
        <exclude expression="(.*)\.gz"></exclude>
        <exclude expression="^info/*"></exclude>
        <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="false"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="false"/>
        <modify start="false"/>
    </inotify>

    <sersync>
        <localpath watch="/opt/cosmo/test">
            <remote ip="192.168.0.51" name="wwwroot"/>
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
        <rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsyncuser" passwordfile="/opt/cosmo/com/rsync/bin/rsync2.passwd"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
        <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
        <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
        <filter start="false">
            <include expression="(.*)\.php"/>
            <include expression="(.*)\.sh"/>
        </filter>
    </plugin>

    <plugin name="socket">
        <localpath watch="/opt/tongbu">
            <deshost ip="192.168.138.20" port="8009"/>
        </localpath>
    </plugin>
    <plugin name="refreshCDN">
        <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
            <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
            <sendurl base="http://pic.xoyo.com/cms"/>
            <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
        </localpath>
    </plugin>
</head>

 

sersync配置文件解析

# 修改24--28行
<sersync>
        <localpath watch="/opt/cosmo/test">    #本地同步目录
            <remote ip="192.168.0.51" name="wwwroot"/>   #rsync模块名称

# 修改31--34行,认证部分【rsync密码认证】
<rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsyncuser"   #修改用户名 passwordfile="/opt/cosmo/com/rsync/bin/rsync2.passwd"/>   # 修改密码文件路径
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>

</rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->  # **错误日志路径,用于记录和恢复同步失败的文件**

启动sersync服务

# 启动sersync服务
[root@cosmo-0-50 sersync]# /opt/cosmo/com/sersyncdir/sersync/sersync2 -r -d -o /opt/cosmo/com/sersyncdir/sersync/confxml.xml 
  • 输出内容如下:

 

51节点的配置方法和50一致

测试同步

#在50节点的/opt/cosmo/test/进行文件修改或删除,在51节点进行观察是否同步成功
watch ls -l


作者Rich七哥
原文地址https://www.cnblogs.com/fusheng11711/p/11751930.html

原文地址:https://www.cnblogs.com/cndevops

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读903次。4.清除缓存目录(/var/cache/yum)下的软件包及旧的headers。11.列出所有已安裝但不在 Yum Repository 內的软件包信息。3.清除缓存目录(/var/cache/yum)下旧的 headers。2.清除缓存目录(/var/cache/yum)下的 headers。5.列出所有已安装但不在 Yum Repository 內的软件包。1.清除缓存目录(/var/cache/yum)下的软件包。9.列出所有可更新的软件包信息。3.列出所有可更新的软件包。_centos yum update
文章浏览阅读1.5k次。Python 是一种高级解释性编程语言,已被用于各种应用程序开发,并在近年来获得了巨大的流行。Python 可用于编写广泛的应用程序,包括 Web 开发、数据分析、科学计算、人工智能、游戏等。由于其简单易用,它是初学者的理想语言。Python广泛应用于金融、医疗保健和科技等行业,并且由于其丰富的数据分析和可视化库和工具集而受到数据科学家和研究人员的欢迎。创建本内容时 Python 的最新稳定版本是 Python 3.11。_linux安装python3.11
文章浏览阅读2.6k次。打开终端或控制台,以root或具有sudo权限的用户身份登录。根据你的Linux发行版和网络管理工具的不同,相应的命令可能略有不同。使用以下命令编辑网络配置文件,例如eth0网卡的配置文件:注意:ifcfg-eth0 可能会有不同的命名,根据实机情况确认。在编辑器中,找到以"IPADDR"开头的行,然后修改IP地址。例如,将IP地址更改为192.168.1.100_银河麒麟修改ip地址
文章浏览阅读744次,点赞24次,收藏26次。目标:通过AppSrv为InsideCli客户端网络分配地址,地址池范围:192.168.0.110-192.168.0.190/24。另外一个虚拟网卡改为192.168.0.1给Rserver服务器,添加多一个网卡,用于连接不同的网段分别选刚才选好的两个网段之后,开启各虚拟机,配置IP地址ip addr查看网卡vi /etc/sysconfig/network-scripts/ifcfg-ens33新网卡没有UUID,要生成一个uuidgen然后记下进入文件夹cd /etc/sysconfig/netwo
文章浏览阅读1.1w次,点赞8次,收藏26次。chmod命令来自于英文词组“change mode”的缩写,其功能适用于改变文件或者目录权限的命令。默认只有文件的所有者和管理员可以设置文件权限,普通用户只能管理自己的文件的权限属性。设置权限时可以使用数字法,亦可使用字母表达式,对于目录文件建议加入-R参数进行递归操作,意味着不仅对于目录本身,也对目录内的子文件/目录进行新权限的设定。_chmod修改权限
文章浏览阅读1.2k次。yum源的URL地址,本例中是文件系统的路径,以“file:///”开头。其中,是要安装的软件包的名称。:本节的名称,可以是任何名称,但是必须以“[ ]”括起来。如果能够看到光盘的设备信息,则说明系统已经检测到了光盘。注意:baseurl的值必须是光盘挂载的目录路径。:GPG公钥文件的路径,用于yum包的安全性检查。:yum源是否启用,1表示启用,0表示禁用。:是否进行GPG校验,1表示是,0表示否。打开终端,使用root用户登录。:yum源的名称,可以自定义。_centos挂载光盘
文章浏览阅读1.4k次。这会在系统中安装新的 OpenSSL 版本。如果输出结果中的版本号为 1.1.1 或更高版本,则说明 OpenSSL 已成功升级。然后将新安装的OpenSSL做软连接到这个路径。4.初始化并编译、安装。_centos 升级 openssl
文章浏览阅读4.9k次,点赞5次,收藏11次。[Linux下的软连接、软链接的方式]][[Linux使用的filesystem库来自于c++17提供的新特性]][[Linux下centos查看 GCC 、G++版本]][[Linux 下centos 查看 -std 是否支持 C17 ]]_gcc c++17
文章浏览阅读3.2k次,点赞3次,收藏9次。Linux (centos) 安装Python3.9(保姆级别)_centos安装python3.9
文章浏览阅读5.9k次,点赞4次,收藏4次。进入国内的阿里云的,这里CentOS 7提供了三种ISO镜像文件的下载:DVD ISO、Everything ISO、Minimal ISO。阿里云下载链接: http://mirrors.aliyun.com/centos/点击进入下载页面,随便选择一个下载即可(不推荐,推荐阿里云下载,见下文)阿里云下载站点(速度非常快推荐)_centos7 iso
文章浏览阅读3.9k次。运行报错_inconsistency detected by ld.so: dl-call-libc-early-init.c: 37: _dl_call_lib
文章浏览阅读782次,点赞22次,收藏24次。通过查看INSTALL文件我们可以知道安装glibc2.31的要求,需要binutils版本2.25以上,texinfo版本4.7以上,bison版本2.7以上,sed版本3.02以上,gettext0.10.36以上,Python3.4以上,GDB7.8以上,make版本4.0以上,GCC版本6.2 以上。isl-0.18版本: http://www.mirrorservice.org/sites/sourceware.org/pub/gcc/infrastructure。_rpm 更新glibc2.31
文章浏览阅读905次,点赞19次,收藏16次。操作系统运维相关操作,实用而全面_centos 共享磁盘
文章浏览阅读1.5k次。CentOS Stream的位置提到RHEL上游,解决了“孤儿”的问题。红帽在RHEL上开发的所有功能都已经在CentOS Stream上完成,生态伙伴所添加的内容都将返回到CentOS Stream中,这些新功能会在未来RHEL发布出来,避免了生态伙伴创新消失不见情况的发生,从而保护投资,保护创新。为什么强调位置的变化?红帽的创新得到了CentOS创造者Gregory Kurtzer的肯定,他曾在公开场合表示,红帽做了正确的事情,CentOS Stream的场景比CentOS更好,更适合社区的发展。_dnf: command not found
文章浏览阅读1k次,点赞3次,收藏6次。sysconf:keepalived核心配置文件所在位置,固定位置,改成其他位置则keepalived启动不了,/var/log/messages中会报错。注意:如果在第5步执行 make && make install 时,报如下错误,则可能是keepalived版本号不对,可以试试 2.1.0 以前的版本。4. 进入到解压后的文件夹内,里面会看到 configure 文件,接下来就可以使用 configure 命令进行配置了。2. 通过 ftp工具上传到 linux:/home/software/_服务器双机热备
文章浏览阅读3k次。配置iptables规则,限制用户的出口IP,这里是根据用户的uid去限制的,比如user001用户的uid是1000,配置user001用户的出口IP就是172.17.22.1,以下是示例,根据自己情况修改uid和出口IP。找到auth的配置,默认是注释了的,先放开注释(就是把首行的#去掉),然后把Authentication这列改为u,以下是修改后的截图。打开后是空文件,在这里面添加自己的代理账号和密码,格式:账号+英文空格+密码,以下是例子,自己配置自己的账号。至此恭喜你,完成了所有配置!_站群搭建socks5
文章浏览阅读815次。下载链接:https://github.com/PowerShell/PowerShell/releases。下载链接:https://github.com/PowerShell/PowerShell/_linux中pwsh安装
文章浏览阅读877次,点赞10次,收藏5次。在CentOS系统中,Apache服务器是一个常用的Web服务器软件,它可以高效地提供静态HTTP服务。现在,您已经成功地在CentOS系统中配置了Apache服务器提供静态HTTP服务。启用默认站点:确保在配置文件中启用了默认的站点配置。此外,根据您的需求,您可能还需要进一步配置Apache的其他功能和模块。在配置文件中,您可以进行各种设置以定义您的静态HTTP服务的行为。指令,以定义适当的权限和设置。例如,确保目录的权限设置为适当的读/写/执行权限。指令设置为包含您的静态文件的目录路径。_centos还能用服务器吗
文章浏览阅读676次,点赞71次,收藏64次。简单几步实现在Linux centos环境下安装部署sql server数据库,并结合cpolar内网穿透工具,创建安全隧道将其映射到公网上,获取公网地址,实现在外异地远程连接家里/公司的sqlserver数据库,而无需公网IP,无需设置路由器,亦无需云服务器。
文章浏览阅读5.5k次。在 CentOS 7 中,可以通过以下步骤来开放指定端口号:1、使用 root 或具有管理员权限的用户登录到 CentOS 7 服务器。2、使用防火墙管理工具 firewalld 进行端口开放。 firewalld 是 CentOS 7 默认的防火墙管理工具。3、检查当前防火墙的状态,确保 firewalld 服务已经运行并且正常工作。可以使用以下命令来检查:_centos7开放端口