Lvs+Keepalived+Nginx高可用搭建

发表于 | 分类于

keepalive配置文件详解

第一部分：全局定义块

1、email通知。作用：有故障，发邮件报警。
2、Lvs负载均衡器标识（lvs_id）。在一个网络内，它应该是唯一的。
3、花括号“{}”。用来分隔定义块，因此必须成对出现。如果写漏了，keepalived运行时，不会得到预期的结果。由于定义块内存在嵌套关系，因此很容易遗漏结尾处的花括号，这点要特别注意。

1
2
3
4
5
6
7
8
9
global_defs {            
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
    sysadmin@fire.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
   smtp_server localhost #指定smtp服务器地址
   smtp_connect_timeout 30 #指定smtp连接超时时间
   router_id LVS_DEVEL #运行keepalived机器的一个标识，主从配置不能相同
}

第二部分：vrrp_sync_group

确定失败切换（FailOver）包含的路由实例个数。即在有2个负载均衡器的场景，一旦某个负载均衡器失效，需要自动切换到另外一个负载均衡器的实例是哪些？ 实例组group{}至少包含一个vrrp实例

1
2
3
4
5
6
7
8
9
10
11
12
vrrp_sync_group VG_1{ #监控多个网段的实例
    group {
　　　　VI_1 #实例名
　　　　VI_2
　　　　......
    }
    notify_master /path/xx.sh #指定当切换到master时，执行的脚本
    netify_backup /path/xx.sh #指定当切换到backup时，执行的脚本
    notify_fault "path/xx.sh VG_1" #故障时执行的脚本
    notify /path/xx.sh 
    smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知
}

第三部分：vrrp_instance

虚拟路由实例配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
vrrp_instance VI_1 {
    state BACKUP #指定那个为master，那个为backup，如果设置了nopreempt这个值不起作用，主备考priority决定
    interface eth0 #设置实例绑定的网卡
    dont_track_primary #忽略vrrp的interface错误（默认不设置）
    track_interface{ #设置额外的监控，里面那个网卡出现问题都会切换
        eth0
        eth1
    }
    mcast_src_ip #发送多播包的地址，如果不设置默认使用绑定网卡的primary ip
    garp_master_delay #在切换到master状态后，延迟进行gratuitous ARP请求
    virtual_router_id 50 #VPID标记
    priority 99 #优先级，高优先级竞选为master
    advert_int 1 #检查间隔，默认1秒
    nopreempt #设置为不抢占 注：这个配置只能设置在backup主机上，而且这个主机优先级要比另外一台高
    preempt_delay #抢占延时，默认5分钟
    debug #debug级别
    authentication { #设置认证
        auth_type PASS #认证方式
        auth_pass 111111 #认证密码
    }
    virtual_ipaddress { #设置vip
        192.168.202.200
    }
}

第四部分：virtual_server

虚拟服务器virtual_server定义块 ，虚拟服务器定义是keepalived框架最重要的项目了，是keepalived.conf必不可少的部分。 该部分是用来管理LVS的，是实现keepalive和LVS相结合的模块。ipvsadm命令可以实现的管理在这里都可以通过参数配置实现，注意：real_server是被包含在viyual_server模块中的，是子模块。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
virtual_server 192.168.202.200 23 {        //VIP地址，要和vrrp_instance模块中的                virtual_ipaddress地址一致
　　　　delay_loop 6 #健康检查时间间隔 
　　　　lb_algo rr #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh 
　　　　lb_kind DR #负载均衡转发规则NAT|DR|RUN 
　　　　persistence_timeout 5 #会话保持时间 
　　　　protocol TCP #使用的协议 
　　　　persistence_granularity <NETMASK> #lvs会话保持粒度 
　　　　virtualhost <string> #检查的web服务器的虚拟主机（host：头） 
　　　　sorry_server<IPADDR> <port> #备用机，所有realserver失效后启用
 
 
    real_server 192.168.200.5 23 {             //RS的真实IP地址
            weight 1 #默认为1,0为失效
            inhibit_on_failure #在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除 
            notify_up <string> | <quoted-string> #在检测到server up后执行脚本
            notify_down <string> | <quoted-string> #在检测到server down后执行脚本
            
        TCP_CHECK {                    //常用
            connect_timeout 3 #连接超时时间
            nb_get_retry 3 #重连次数
            delay_before_retry 3 #重连间隔时间
            connect_port 23  健康检查的端口的端口
            bindto <ip>   
          }
 
        HTTP_GET | SSL_GET{          //不常用
            url{ #检查url，可以指定多个
                 path /
                 digest <string> #检查后的摘要信息
                 status_code 200 #检查的返回状态码
            }
            connect_port <port> 
            bindto <IPADD>
            connect_timeout 5
            nb_get_retry 3
            delay_before_retry 2
        }
 
        SMTP_CHECK{                 //不常用
            host{
                connect_ip <IP ADDRESS>
                connect_port <port> #默认检查25端口
                bindto <IP ADDRESS>
            }
            connect_timeout 5
            retry 3
            delay_before_retry 2
            helo_name <string> | <quoted-string> #smtp helo请求命令参数，可选
        }
 
        MISC_CHECK{                 //不常用
            misc_path <string> | <quoted-string> #外部脚本路径
            misc_timeout #脚本执行超时时间
            misc_dynamic #如设置该项，则退出状态码会用来动态调整服务器的权重，返回0 正常，不修改；返回1，
 
检查失败，权重改为0；返回2-255，正常，权重设置为：返回状态码-2
        }
    }
}

第五部分：vrrp_script

服务监控脚本。keepalived只能做到对网络故障和keepalived本身的监控，即当出现网络故障或者keepalived本身出现问题时，进行切换。但是这些还不够，我们还需要监控keepalived所在服务器上的其他业务进程，比如说nginx，keepalived+nginx实现nginx的负载均衡高可用。

1
2
3
4
5
6
7
8
9
10
vrrp_script check_haproxy{
 
    script "/home/check.sh" #监控脚本
    interval 3              #定时执行脚本间隔
    weight -20              #脚本权重
    #keepalived会定时执行脚本并对脚本执行的结果进行分析，动态调整vrrp_instance的优先级。
    #如果脚本执行结果为0，并且weight配置的值大于0，则优先级相应的增加
    #如果脚本执行结果非0，并且weight配置的值小于0，则优先级相应的减少
 
}

实例lvs+keepalived+nginx高可用搭建

服务器 IP地址 角色
Srv01 192.168.227.164
VIP: 192.168.227.100 LVS+Keepalive

Srv02 192.168.227.165
VIP: 192.168.227.100 LVS+Keepalive

Srv03 192.168.227.159
VIP: 192.168.227.100 Nginx

Srv04 192.168.227.160
VIP: 192.168.227.100 Nginx

设置后端服务器

引用 https://www.cnblogs.com/rexcheny/p/10778636.html

ARP的内核参数

由于LVS服务器和后端服务器的网卡上都配置了VIP，那么当客户端联系VIP的时候肯定是和LVS服务器的VIP进行通信，然后由LVS服务器基于规则进行调度，我们知道2层通信是基于MAC地址的，那么首次通信时客户端可能并不知道LVS服务器的MAC地址，那么就需要进行ARP广播来解析出VIP所在的服务器的MAC地址，那么显然对客户端进行ARP应答的只能是LVS服务器不能是后端服务器，所以我们就要在后端上修改内核参数来禁止ARP应答和宣告。那么有2个内核参数表示这两个设置：

arp_ignore：表示接收到ARP广播时的响应级别，默认值为0

0，默认值，表示响应所有，只要对方查询的IP配置在我自己这台主机上且无论ARP请求从哪个网卡进来，该主机都会响应

1，收到该ARP请求的网卡IP与ARP请求的IP一致，该主机才响应

arp_announce：定义将自己的地址向外通告的级别，默认是0

0，表示将本机所有的MAC地址都向外通告

1，多网卡主机且都配置了IP地址，那么该主机接入到网络时，无论哪个网卡接入到网络，该网卡都会向外宣告自己所有的MAC地址，所以1表示如果IP不在这个接口上，就避免向外通告，但是不保证一定不会下外通告。

2，仅向网卡IP直连的网络进行通告

为什么会有这些级别呢？因为主机可以有多个网卡，每个网卡都对应一个网段，默认情况下这个多网卡主机只要接入网络它就会把自己所在的所有网络地址都向外进行通告。

所以对于后端服务器，也就是本例子中的Nginx，我们应该在lo上配置子接口，且设置arp_ignore为1，arp_announce为2。

调整脚本

这个是配置的nginx端的，用于vip连接分发访问流量到nginx，使用方法 复制到一个sh文件 例子：bash lvs.sh start

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/bash
vip=192.168.227.100
mask='255.255.255.255'
iface="lo:0"

case $1 in
start )
	echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
	echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
	echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
	ifconfig $iface $vip netmask $mask broadcast $vip up
	route add -host $vip dev $iface
	sysctl -a | egrep "arp_ignore|arp_announce"
	;;
stop)
	ifconfig $iface down
	echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
	echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
	echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
	sysctl -a | egrep "arp_ignore|arp_announce"
	;;
*) 
	echo "Usage $(basename $0) start |stop"
	exit 1
	;;
esac

处理lvs的脑裂(大坑)

https://www.jianshu.com/p/35941504a2e8
发现的脑裂，应该是防火墙将vrrp 广播给过滤掉了，导致backup接受不到master的广播，然后自己去争抢了vip。所以此处我将防火墙关闭了，如果有对防火墙要求，可以只将防火墙的vvrp开启。注意命令中要修改自己的网卡名称ens33

1
2
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.1 --protocol vrrp -j ACCEPT
firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --out-interface ens33 --destination 224.0.0.1 --protocol vrrp -j ACCEPT

为了使服务的端口可以通信，80端口或者需要使用的端口也需要放行的

1
2
firewall-cmd --zone=public --add-port=80/tcp --permanent
firewall-cmd --reload

查看配置的规则

1
2
firewall-cmd --direct --get-rules ipv4 filter INPUT
firewall-cmd --direct --get-rules ipv4 filter OUTPUT

生产环境配置文件实例：

该配置是lvs加keepalived的主配置，从配置需要修改的已经配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
[root@lvs_1 ~]# cat /etc/keepalived/keepalived.conf 

global_defs {
		notification_email {
           49000448@qq.com
    }
    notification_email_from Alexandre.Cassen@firewall.loc
    smtp_server 10.0.0.1
    smtp_connect_timeout 30
	router_id lvs_1         #主机名，从节点配置名称不能一样
	vrrp_skip_check_adv_addr
	vrrp_strict
	vrrp_garp_interval 0
	vrrp_gna_interval 0
	vrrp_mcast_group4 224.0.0.1 #组播地址
	vrrp_iptables

	}

 
vrrp_instance VI_1 {
        state MASTER       #从节点配置为BACKUP
        interface ens33
        virtual_router_id 55
        priority 150       #优先级，官方推荐50差范围，从节点配置为100
        advert_int 1
        authentication {
             auth_type PASS
             auth_pass 1111
        }
        virtual_ipaddress {
            192.168.227.100/32 brd 192.168.227.100 dev ens33 lable ens33:0
        }
}
 
virtual_server 192.168.227.100 80 {
        delay_loop 2
        lb_algo wrr
        lb_kind DR
        protocol TCP
		
		sorry_server 127.0.0.1 80
 
        real_server 192.168.227.159 80 {
            weight 3
            TCP_CHECK {
                        connect_timeout 8
                        nb_get_retry 3
                        delay_before_retry 3
                        connect_port 80
            }
        }
 
 
        real_server 192.168.227.160 80 {
            weight 1
            TCP_CHECK {
                        connect_timeout 8
                        nb_get_retry 3
                        delay_before_retry 3
                        connect_port 80
            }
        }
}

systemctl retsrat keepalived

nginx高可用集群双主配置

编写lb01服务器keepalived配置文件

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
    ! Configuration File for keepalived
     global_defs {
       router_id lb01
    }
    
    
    vrrp_instance shuai {
        state MASTER
        interface eth0
        virtual_router_id 51
        priority 150
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        virtual_ipaddress {
         10.0.0.3/24
        }
    }
    vrrp_instance ashuai {
        state BACKUP
        interface eth0
        virtual_router_id 52
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        virtual_ipaddress {
         10.0.0.4/24
        }
    }
```       
### 编写lb02服务器keepalived配置文件  
```bash  
    ! Configuration File for keepalived
    global_defs {
       router_id lb02
    }
    
    vrrp_instance shuai {
        state BACKUP
        interface eth0
        virtual_router_id 51
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        virtual_ipaddress {
            10.0.0.3/24
        }
    }
    vrrp_instance ashuai {
        state MASTER
        interface eth0
        virtual_router_id 52
        priority 150
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        virtual_ipaddress {
            10.0.0.4/24
        }
    }

修改nginx负载均衡文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
upstream oldboy {
   server 10.0.0.7:80;
   server 10.0.0.8:80;
   server 10.0.0.9:80;
}
server {
    listen       10.0.0.3:80;
    server_name  www.oldboy.com;
    location / {
       proxy_pass http://oldboy;
       proxy_set_header Host $host;
       proxy_set_header X-Forwarded-For $remote_addr;
       proxy_next_upstream error timeout http_404 http_502 http_403;
    }
}
server {
    listen       10.0.0.4:80;
    server_name  bbs.oldboy.com;
    location / {
       proxy_pass http://oldboy;
       proxy_set_header Host $host;
       proxy_set_header X-Forwarded-For $remote_addr;
    }
}

修改内核文件

1
2
3
4
5
异常问题:
    01. 如何设置监听网卡上没有的地址
    解决: 需要修改内核信息
    echo 'net.ipv4.ip_nonlocal_bind = 1' >>/etc/sysctl.conf
        sysctl -p

重启nginx负载均衡服务

systemctl restart nginx