目前大家用LVS+Keepalived + APP 架构都是 2台LVS +Keepalived 然后后端跟着 应用设备
然而针对小客户来说, 2台LVS平常没什么压力 还有一台备着(虽然可以跑双主，但对小用户模式意义不大) 想让我们充分利用起来 能不能把后端应用 也部署都LVS上
这样的话 架构就是
#下面讲解2台设备分别部署application+LVS+keepalived 实现高可用跟设备都在服务(没有空闲设备)
架构图 如下:
原理说下吧 (#DR模式)
其实这个跟我们平常部署LVS+Keepalived没什么区别
当时如果整个过程你按照以前的那种部署思路 发现部署完之后 总有那么一台real-server不能服务(我实验过 把备机的keepalived stop就好了) 以前也一直纠结这个
原因跟解决方法如下:(摘自 扶凯博客)
当客户端发送数据包给 VIP .比如我们的 Director1 (Master 主)这个接口正在工作,这时 LVS 能接收到这个包,然后根据 keepalived 的配置进行 load balance .这时 Director1 会使用 LVS-DR 的功能给包路由给自己或者 Director2 (Backup).
这时有个问题.在这个例子中因为我们使用了 keepalived .这时 Director2 这台是一台 VIP 的备份服务器.这时 keepalived 默认会立即启动使用 ipvsadm 的规则来配置这台服务器怎么样做备份的处理.来使得更快的故障转移.所以这时这些规则这台备份的 Director2 主机都会存在.
这就有问题了.当从 Director1 (Master 主),比如使用 rr .会转发大约 50% 的包从 Director1 到 Director2 (Backup)的 3306 的端口.这时因为 Director2 因为这些 LVS-DR 的配置规则会接着给这些包,在做一次 load balance .又发回去给 Director1.这时会产生一个死的循环.
随着时间的推移，不但不能正常的处理连接,您的服务器也会崩溃，在他们中间或后端不断的反复连接
解决方案: 给进入 eth0 的包打包 mark 的标记,当数据包是发给 VIP:80 并且 MAC 不其它 LVS 服务器的话. 才做个 mark ,这样才会对指定的 fwmark 进行 loadbalance 放入到 LVS 中处理.只要数据包是从任意其它的 MAC 地址(非 LVS 的转发)会被发往 VIP:port, 会不在进行 loadbalanced 而是直接转给后面监听的 demon 程序进行应用的处理.实际就是我们使用 iptables 来对进入的流量设置 MARK.然后配置 keepalived 只处理有 MARK 过的流量.不在使用以前绑定 VIP 和端口
下面我们来给指定的包打标签吧 (利用iptables)命令如下
在LVS 1上执行
iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp –dport $VPORT -m mac ! –mac -source $MAC_Director2 -j MARK –set -mark 0x3 $VIP 为VIP地址$VPORT 为服务端口$MAC_Director2 是备机的MAC (keepalived 之间互相监听的那块网卡) 在LVS2上执行
iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp –dport $VPORT -m mac ! –mac -source $MAC_Director1 -j MARK –set -mark 0x4
$VIP 为VIP地址$VPORT 为服务端口$MAC_Director1 是主 的MAC (keepalived 之间互相监听的那块网卡)备注：关于lvs1与lvs2上的iptables的配置，这里我采用了脚本的形式，因为生产的端口过多，且不易于管理，最终做成系统服务，即可通过service # start |stop|status 进行维护，该脚本的名称为lvs_iptables.sh ，可以从博客中下载 改配置文件 ## 跟平常架构配置没大区别关于/etc/init.d/real-server 的脚本 这里就不介绍了 都懂的…. 然后改下LVS1 的keepalived配置文件 #主vrrp_instance VIP_1 {
interface eth0
state MASTER
virtual_router_id 55
priority 100
virtual_ipaddress {
192.168.20.160
}
notify_backup “/etc/init.d/rlsv.sh start” ## 切到备 后执行的脚本
notify_master “/etc/init.d/rlsv.sh stop” ## 切到主 后执行的脚本 该脚本也可从博客中下载notify_fault “/etc/init.d/rlsv.sh start” ## 故障状态 后执行的脚本(我也没弄懂这个状态是啥状态 )
}
virtual_server fwmark 3 8080 { ####fwmark 3 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 8080
real_server 192.168.20.135 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.136 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}备注：更多的生产的端口可以自行添加
然后改下LVS2 的keepalived配置文件 #备
vrrp_instance VIP_1 {
interface eth0
state BACKUP
virtual_router_id 55
priority 80
virtual_ipaddress {
192.168.20.160
}
notify_master “/etc/init.d/rlsv.sh stop” ##切到主 后执行的脚本
notify_backup “/etc/init.d/rlsv.sh start” ##切到备 后执行的脚本
}
virtual_server fwmark 4 80 { ###fwmark 4 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 8080
real_server 192.168.20.135 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.136 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
最后都是启动keepalived 测试
备注：
这里有个问题 如果keepalived切到备份后(这个切换触发条件 有点纠结 我手动把keepalived down了 但是没执行 MASTER 上的notify_backup “/etc/init.d/real-server start” 和 notify_fault “/etc/init.d/real-server start” 命令 ) 那这个时候就有问题了 当时如果是机器down了 那没事 当时如果是keepalived服务down了 机器没down 那 也只能一台在服务(这个很纠结) 所有得重点保障 主的keepalived一直正常 那整个平台 设备利用率最高了， 但在此处我想说明一下，其实在MASTER上当keepalived如果DOWN了，可以写脚本检测keepalived的情况，然后启动rlsv.sh的脚本，当keepalived如果up之后，rlsv.sh 的脚本会自动被关闭， 可以暂时解决以上所提到的问题
备注：所有的脚本可下载
转载请注明linux系统运维：
http://www.linuxyw.com/linux/fuzaijunheng/20130429/146.html
