手把手教程: CentOS 6.5 LVS + KeepAlived 搭建 负载均衡 高可用 集群

手把手教程: CentOS 6.5 LVS + KeepAlived 搭建 负载均衡 高可用 集群


为了实现服务的高可用和可扩展,在网上找了几天的资料,现在终于配置完毕,现将心得公布处理,希望对和我一样刚入门的菜鸟能有一些帮助。

一、理论知识(原理)

我们不仅要知其然,而且要知其所以然,所以先给大家准备一些理论知识课,这样对以后的应用将会事半功倍。

1、什么是LVS?

请阅读作者章文嵩博士自己的研究报告,共计4部分,看完后对集群和LVS就有了初步的了解,不懂时可以翻翻。

LVS项目介绍http://www.linuxvirtualserver.org/zh/lvs1.html

LVS集群的体系结构http://www.linuxvirtualserver.org/zh/lvs2.html

LVS集群中的IP负载均衡技术http://www.linuxvirtualserver.org/zh/lvs3.html

LVS集群的负载调度http://www.linuxvirtualserver.org/zh/lvs4.html

2、什么是KeepAlived?

Keepalived原理与实战精讲http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/

3、什么是CentOS?

百度百科给出的http://baike.baidu.com/link?url=X3SzN3bJWjW_PkWC6GB2MTs5KhVmxBAxnCRjs9W7-IARDiHloZ_oRWj17BEz0kY3

4、小结

相信读了以上的理论知识后,已经对集群的实现原理有了大概的了解,那接下来我们就开始动手吧。

二、服务器的安装

我们会用到4个服务器,横向分2层:

第1层是LVS服务器(1个主,1个从;从可以多个)用来转发请求,需要安装ipvsadm和keepAlived;第2层是提供具体服务的服务器(表中用了2个;当然也可以是多个,现实的应用会上百台。),安装的是具体的服务,这里我们安装的是TOMCAT。

主机环境如下:

192.168.10.100  LVS_VIP(VIP:Virtual IP)
192.168.10.140  LVS_Master  
192.168.10.141  LVS_Backup
192.168.10.142  WEB1_RealServer
192.168.10.143  WEB2_RealServer

克隆:我们先安装配置好一层的一个服务器,其他服务器使用克隆方式。

1、安装虚拟机VMvare

版本是10.0.1,具体的下载和安装教程请浏览百度经验:http://jingyan.baidu.com/article/c843ea0b754a7977931e4aa7.html

2、安装CentOS

1)版本是CentOS 6.5官方正式版64位,下载地址:http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html

2)在虚拟机中安装CentOS的教程请参考:http://www.jb51.net/os/78318.html,说的已经很清楚了;注意一个分区环节

教程中的第13步,因为没有分过区,所以不知道怎么增加分区了,后来才弄明白,如图:

点edit进去后,然后在里面点击ADD增加/home分区即可;

3)安装完毕后,改虚拟机名为LVS_Master,然后再克隆2个虚拟机服务器,一个虚拟机做原始备份,一个做WEB1_RealServer。

如何克隆?请参考:http://blog.sina.com.cn/s/blog_9ba89b9901019bn9.html;

3、LVS层安装LVS和KeepAlived

打开LVS_Master服务器;
先安装lvs_master的服务,lvs_backup使用克隆虚拟机的方式,然后在配置文件修改三个参数即可,下面会讲到。

只要按照如下步骤一步一步来,我敢肯定一次成功!

1)开启刚刚建好的虚拟机,此时应该已经设置好系统的登录账号和密码了。好的,登录系统,打开终端:

[html] view plain copy
  1. ifconfig

在终端中输入ifconfig,然后回车,会看到本服务器的IP地址信息,如图:(如果想了解其他的CentOS命令,请参考http://www.jb51.net/os/RedHat/60044.html)

2)由于我们的操作全部是用命令行执行的,在虚拟机与本机中切换确实不太方便,给大家准备了一个简单好用的连接虚拟机中CentOS系统的工具putty,下载地址:

http://download.csdn.net/detail/tengyuantuohai/1276306

打开下载的putty.exe,如图填写好服务器的IP地址后点击OPEN,选择“是”,打开putty的应用页面:

copy

root

在putty的终端输入root回车(root为超级管理员账号),输入密码(注意输入密码时页面是不会显示的),回车登录

3)安装IPVSADM

知识点:IPVSADM理解为IPVS管理工具;LVS(Linux Virtual Server)的核心为IPVS(IP Virtual Server),从Linux内核版本2.6起,IPVS模块已经编译进了Linux内核。

使用yum命令进行安装,系统会选择最适合内核版本的ipvsadm

copy

yum-yinstallipvsadm

4)防火墙

为了测试方便,我们直接关闭防火墙,在实际使用中开启需要的端口即可(具体配置可参考:http://www.cnblogs.com/rockee/archive/2012/05/17/2506671.html)

copy

serviceiptablesstop

5)KeepAlived 的安装

知识点:KeepAlived是一个路由软件,它主要的目的是让我们通过简单的配置,实现高可用负载均衡,当然负载均衡依赖于Linux虚拟服务器(IPVS)的内核模块,其高可用性使用VRRP协议来实现,KeepAlived不仅会检测负载均衡服务器池中每台机器的健康状况并通知IPVS将非健康的机器从池中移除掉;同时它还能对负载均衡调度器本身实现健康状态检查,当主负载均衡调度器出现问题时,备用负载均衡调度器顶替主进行工作。

逐条执行如下命令,执行的原因暂不解释,实际就是需要这些组件,安装即可。

copy

cd/usr/src
  • yum-yinstallopenssl-devel
  • wgethttp://www.keepalived.org/software/keepalived-1.2.7.tar.gz
  • wgethttp://mirror.centos.org/centos/6/os/x86_64/Packages/popt-static-1.13-7.el6.x86_64.rpm
  • yum-yinstallpopt-static-1.13-7.el6.x86_64.rpm
  • yum-yinstallkernel-develmakegccopenssl-devellibnl*popt*
  • ln-s/usr/src/kernels/2.6.32-220.13.1.el6.x86_64//usr/src/linux
  • tarzxvfkeepalived-1.2.7.tar.gz
  • cdkeepalived-1.2.7
  • ./configure--with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/

  • copy

    执行完最后一条时,终端应该显示为下图这样,如果不是请不要继续,自己返回来看下有没有哪里执行有误;

    如果是上图这样,恭喜你已经成功了一大半,剩下的就简单了!

    继续执行

    copy

    make&&makeinstall
  • cp/usr/local/etc/rc.d/init.d/keepalived/etc/rc.d/init.d/
  • cp/usr/local/etc/sysconfig/keepalived/etc/sysconfig/
  • mkdir/etc/keepalived
  • cp/usr/local/etc/keepalived/keepalived.conf/etc/keepalived/
  • cp/usr/local/sbin/keepalived/usr/sbin/
  • OK,KeepAlived安装完毕,然后进行配置。

    6)KeepAlivde的配置

    The First:打开IP Forward 功能(LVS现有三种负载均衡规则都需要打开此功能,如果不打开此功能,下面的配置配得再好都无济于事。)

    copy

    yum-yinstallvim
  • vim/etc/sysctl.conf
  • 打开后修改里面“net.ipv4.ip_forward = 1”,结果如下图:

    (修改常用命令:i键表示要插入修改,修改好后摁ESC,然后输入":wq",保存退出,其他命令参考:http://www.cnblogs.com/zhanglong0426/archive/2010/10/07/1845268.html)


    修改好后保存退出,执行如下命令使设置立即生效

    copy

    sysctl-p
    第二步:KeepAlivde的配置

    配置文件在这个位置: /etc/keepalived/keepalived.conf

    启动KeepAlived时,它默认会去/etc/keepalived下面找它的配置文件,所以上面命令中我们已经将这个配置文件复制过来了。现在进行修改:

    copy

    vim/etc/keepalived/keepalived.conf

    具体的参数详情请参考:http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/

    下面是我配置好的文件内容

    copy

    !ConfigurationFileforkeepalived
  • global_defs{
  • notification_email{
  • test@sina.com
  • }
  • notification_email_fromadmin@test.com
  • smtp_server127.0.0.1
  • smtp_connect_timeout30
  • router_idLVS_MASTER
  • }
  • vrrp_instanceVI_1{
  • stateMASTER
  • interfaceeth1
  • virtual_router_id60
  • priority100
  • advert_int1
  • authentication{
  • auth_typePASS
  • auth_pass1111
  • virtual_ipaddress{
  • 192.168.10.100
  • virtual_server192.168.10.1008080{
  • delay_loop6
  • lb_algorr
  • lb_kindDR
  • nat_mask255.255.255.0
  • persistence_timeout50
  • protocolTCP
  • real_server192.168.10.1428080{
  • weight1
  • TCP_CHECK{
  • connect_timeout3
  • nb_get_retry3
  • delay_before_retry3
  • real_server192.168.10.1438080{
  • weight1
  • TCP_CHECK{
  • connect_timeout3
  • nb_get_retry3
  • delay_before_retry3
  • }


  • 以上就完成了keepAlived的配置,下面进行启动

    copy

    chkconfigkeepalivedon
  • servicekeepalivedstart
  • 查看进程

    copy

    psaux|grepkeepalived
    结果如图

    Keepalived正常运行时,共启动3个进程,其中一个进程是父进程,负责监控其子进程;一个是vrrp子进程;另外一个是checkers子进程。

    如果此时只看到2个进程,请从安装keepalived的步骤重新执行。


    查看下虚拟IP是否已经加上(重要

    copy

    ipa
    如图:

    说明虚拟IP已经自动配置上了。

    还有3个命令在先列示下,并不用执行

    显示集群中服务器ip信息:ipvsadm -ln

    查看日志:tail -f /var/log/messages

    查看请求转发情况:ipvsadm -lcn | grep 虚拟IP

    7)至此,LVS_MASTER服务器已经配置好并启动了,接下来我们配置web服务器。

    4、WEB服务器WEB1_RealServer的配置

    1)打开虚拟机WEB1_RealServer;

    2)配置虚拟IP启动脚本

    copy

    vim/etc/init.d/realserver.sh
    在文件中输入如下脚本:

    copy

    #!/bin/bash
  • SNS_VIP=192.168.10.100
  • ./etc/rc.d/init.d/functions
  • case"$1"in
  • start)
  • ifconfiglo:0$SNS_VIPnetmask255.255.255.255broadcast$SNS_VIP
  • /sbin/routeadd-host$SNS_VIPdevlo:0
  • echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore
  • echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce
  • >/proc/sys/net/ipv4/conf/all/arp_ignore
  • >/proc/sys/net/ipv4/conf/all/arp_announce
  • sysctl-p>/dev/null2>&1
  • echo"RealServerStartOK"
  • ;;
  • stop)
  • ifconfiglo:0down
  • routedel$SNS_VIP>&1
  • echo"0" echo"0" echo"RealServerStoped"
  • ;;
  • *)
  • echo"Usage:$0{start|stop}"
  • exit1
  • esac
  • exit0

  • 3)安装配置TOMCAT

    我测试用的是TOMCAT6

    copy

    yum-yinstalltomcat6tomcat6-webappstomcat6-admin-webapps
  • chkconfigtomcat6on
  • servicetomcat6start
  • 启动后如图:

    关闭防火墙:

    copy

    打开浏览器:http://192.168.10.142:8080

    会看到TOMCAT的熟悉页面了。

    为了测试负载均衡,我们将这个页面改下,以更好的标识这个网页是本服务器的

    Tomcat6安装目录位于/usr/share/tomcat6,所以我们要编辑tomcat下的webapps/ROOT/index.html这个文件。

    将如下文本写入index.html,然后打开浏览器:http://192.168.10.142:8080,已经改变:

    copy

    web1192.168.10.142
    4)启动虚拟IP的脚本

    copy

    sh/etc/init.d/realserver.shstart
  • ifconfig
  • 运行后会看到网络有了一个虚拟IP,如图:

    5)去LVS_MASTER服务器的终端查看下ipvsadm,查看已经连接上了WEB1服务器,运行命令

    copy

    ipvsadm-ln 结果如图:

    已经可以看到有服务器加入进来了。

    此时我们访问网页http://192.168.10.100,出现界面显示web1 192.168.10.142;或者使用命令行测试转发情况,如下:

    copy

    ipvsadm-lcn|grep192.168.10.100 运行结果:



    OK,至此已经能实现负载均衡了,接下来我们通过克隆实现多个主机的试验。

    5、服务器克隆

    1)从LVS_MASTER克隆一个LVS_BACKUP服务器,然后修改其中的参数,MASTER与BACKUP配置仅三处不同:global_defs中的router_id、vrrp_instance中的state、priority

    注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常

    配置好的如下文:

    copy

    router_idLVS_BACKUP
  • stateBACKUP
  • interfaceeth2
  • priority90
  • 2)从WEB1_RealServer克隆一个WEB2_RealServer,将tomcat的index.html文件改为web2 192.168.10.143。(这里的IP是我测试的,您的可以自定义)

    启动realserver.sh脚本。

    3)OK,至此我们已经虚拟出2个LVS服务器,一对主从;2个WEB服务器,web1和web2。接下来我们进行测试,看能否满足我们的初始需求。

    三、负载和可用性测试

    开启每个服务器的相关服务,关闭防火墙,我们开始进行测试。

    1、测试LVS层

    1)首先执行ip a命令,主服务器会存在一个虚拟IP,从服务器不会存在这个虚拟IP。现在浏览网页显示正常。虚拟IP如图所示:

    查看请求转发情况:ipvsadm -lcn | grep 虚拟IP

    LVS_MASTER中的IP信息

    LVS_BACKUP服务器的IP信息

    2)现在停掉LVS_MASTER的keepAlived服务,看LVS_BACKUP是否可以自动加上虚拟IP地址,并且开始转发请求。

    注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常)

    LVS_MASTER如图:

    LVS_BACKUP服务器截图:

    切换很快,访问网页:http://192.168.10.100:8080也能正常显示。

    3)、恢复主服务器的keepAlived服务后,主服务器立刻接替了从服务器的工作,就不做截图了。和第1)个正常效果是一样的。

    4)、测试WEB服务器,看能否正常提供服务。先断掉WEB1,看下效果。

    ipvsadm中的服务器列表,已经去掉了WEB1服务器,访问网页也只能访问到WEB2服务器了。

    5)开启WEB1,关掉WEB2。测试正常。

    四、总结

    经过不断的测试,终于完成了这篇稿子,望大家能够指正。还有一点就是很多时候都是配置文件中的一些小毛病造成的,比如:

    1、keepAlived中的通知邮箱好像必须要写,否则不正确;

    2、keepAlived中的网卡设备要注意,按照服务器的实际情况填写;

    3、使用时,必要的端口要打开,或者关掉防火墙。否则有事不提供服务;

    4、一些命令行的执行,少一些参数执行就可能会有一些问题。

    5、LINUX系统的目录结构也头疼,要不断的熟悉,否则也让你故意弄混了。

    版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

    相关推荐


    linux下开机自启: 在/etc/init.d目录下新建文件elasticsearch 并敲入shell脚本: 注意, 前两行必须填写,且要注释掉。 第一行为shell前行代码,目的告诉系统使用shell。 第二行分别代表运行级别、启动优先权、关闭优先权,且后面添加开机服务会用到。 shell脚本
    1、因为在centos7中/etc/rc.d/rc.local的权限被降低了,所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local 2、赋予脚本可执行权限假设/usr/local/script/autostart.sh是你的脚本路径,给予执行权限 chmod +x /usr
    最简单的查看方法可以使用ls -ll、ls-lh命令进行查看,当使用ls -ll,会显示成字节大小,而ls- lh会以KB、MB等为单位进行显示,这样比较直观一些。 通过命令du -h –max-depth=1 *,可以查看当前目录下各文件、文件夹的大小,这个比较实用。 查询当前目录总大小可以使用d
    ASP.NET Core应用程序发布linux在shell中运行是正常的。可一但shell关闭网站也就关闭了,所以要配置守护进程, 用的是Supervisor,本文主要记录配置的过程和过程遇到的问题 安装Supervisor 1 yum install python-setuptools
    设置时区(CentOS 7) 先执行命令timedatectl status|grep 'Time zone'查看当前时区,如果不是时区(Asia/Shanghai),则需要先设置为中国时区,否则时区不同会存在时差。 #已经是Asia/Shanghai,则无需设置 [root@xia
    vim /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO="static" ONBOOT=yes IPADDR=192.168.8.106 NETMASK=255.255.252.0 GATEWAY=192.168.
    一、安装gcc依赖 由于 redis 是用 C 语言开发,安装之前必先确认是否安装 gcc 环境(gcc -v),如果没有安装,执行以下命令进行安装 [root@localhost local]# yum install -y gcc 二、下载并解压安装包 [root@localhost local
    第一步 On CentOS/RHEL 6.*: $ sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el6/x86_64/nux-dextop-release-0-2.el6.nux.noarch.rpm On CentOS/RHEL 7: $
    /// <summary> /// 取小写文件名后缀 /// </summary> /// <param name="name">文件名</param> /// <returns>返回小写后缀,不带“.”</ret
    which nohup .bash_profile中并source加载 如果没有就安装吧 yum provides */nohup nohup npm run start & nohup ./kibana &
    1.1 MySQL安装 1.1.1 下载wget命令 yum -y install wget 1.1.2 在线下载mysql安装包 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 1.1.3 安装My
    重启 reboot shutdown -r now init 6 关闭 init 0 shutdown -h now shutdown -h 20:25 #8点25关机查看内存 free CPU利用率 top 日期 date 设置时间 date 033017002015 #月日时间年 日历 cal
    1、firewalld的基本使用 启动: systemctl start firewalld 关闭: systemctl stop firewalld 查看状态: systemctl status firewalld 开机禁用 : systemctl disable firewalld 开机启用 :
    1 下载并安装MySQL官方的 Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 使用上面的命令就直接下载了安装用的Yum Repository,大概
    CentOS6.x CentOS6中转用Upstrat代替以前的init.d/rcX.d的线性启动方式。 一、相关命令 通过initctl help可以查看相关命令 [root@localhost ~]# initctl help Job commands: start Start job. sto
    1、使用命令:df -lk 找到已满磁盘 2、使用命令:du --max-depth=1 -h 查找大文件,删除
    ifconfig:查看网卡信息 网卡配置文件位置: /etc/sysconfig/network-scripts/文件夹 nmtui:配置网卡 netstat -tlunp:查看端口信息 端口信息存储位置: /etc/services文件 route:查看路由信息 wget:下载网路文件,例如 wg
    ps -ef:查看所有进程, ps -ef |grap firewalld 查看与firewalld相关的进程 which :查看进程:which firewalld kill 进程id:杀掉进程 kill 640,强制杀:kill -9 640 man:查看帮助,例如 man ps 查看
    useradd:添加用户 useradd abc,默认添加一个abc组 vipw:查看系统中用户 groupadd:添加组groupadd ccna vigr:查看系统中的组 gpasswd:将用户abc添加到ccna组 gpasswd -a abc ccna groups abc:查看用户abc属