LVS负载均衡项目，是Linux开源项目中专门用于负载均衡的，主要应用在client访问server时，通过LVS来分配对应的server来响应client的请求。client访问时，都是访问的LVS的VIP虚拟地址，LVS有三种工作模式：
- NAT模式，client访问LVS时，LVS会将client的数据包，对源地址进行NAT转换，同时对目标地址，根据一定的负载均衡算法，改成内网的一个server地址，然后从内网转发出去，内网server收到数据包之后，会进行响应，源地址是本机的地址，目标地址是LVS负载均衡设备转换到内网的地址，然后将数据包返回给LVS负载均衡器，负载均衡器在收到数据包之后，再进行对应的NAT转换，将数据包返回给client。在NAT模式中，数据包的来和回，都必须经过LVS负载均衡器，LVS会成为访问链路上的性能瓶颈；优点是只需要配置LVS负载均衡器就好了，在RS上不需要进行相关配置
- Tunnel模式，LVS负载均衡器和RS real server之间会建立专门的数据tunnel，client访问LVS，LVS会将数据包通过tunnel传递到某一个RS上，RS响应之后，会通过tunnel返回给LVS，然后返回给client，在这种模式中，由于数据链路上存在tunnel，需要一定的数据开销，同时，需要在RS和LVS负载均衡器上都进行配置。
- DR模式，direct route，直接路由模式，LVS的内网口和RS的业务口在同一个二层网络中，client访问LVS，LVS将数据包的目标MAC地址修改为某一个RS的MAC地址，然后通过二层网络，转发给RS，RS处理完之后，通过自身的路由表，转发，返回给client，这种情况下，需要在RS和LVS上同时配置相同的VIP，同时抑制RS上的VIP，使得RS能够处理client请求的数据包，同时，RS要有和LVS相同的外网环境，因为在数据包返回时，是RS直接将数据包返回给client，不会经过LVS负载均衡器，同时，LVS的内网口必须和RS业务口在同一个二层网络中。DR模式是通过修改数据包的目标MAC，来实现转发的。
LVS负载均衡器，有多种负载均衡算法，不同的场景使用不同的算法：
- RR：round robin，轮询算法，所有的RS平均分配
- WRR，weight RR，基于权重的RR，不同的RS，分配不同的请求
- DH：destination hash，基于目标地址的静态hash，这个我是没有懂。不理解是啥意思
- SH：source hash，基于源地址的hash
- WLC：weight least connection，加权最小链接数，取weight/connection最小的RS，进行分配
- LC：least connection，最小链接数，RS的服务连接最小，越优先分配
- SED：shortest expected delay，最小期望延时
我们重点来了解一下DR模式。
- client访问LVS，将数据包发送给LVS，源IP为client的IP，目标IP为LVS的VIP
- LVS收到数据请求后，根据特定的负载均衡算法，将数据包的目标MAC地址修改为某一个RS的MAC地址，然后通过内网转发出去，源IP还是client的IP，目标IP还是VIP，但是目标MAC地址是内网RS的MAC地址
- 由于LVS和RS在同一个二层网络中，直接通过二层MAC寻址转发，到对应的RS上
- RS收到数据包之后，解封装，MAC是自己的，VIP需要在本地的环回口loopback接口上配置，使得RS能有这个VIP地址，能够处理这个数据包，RS处理了数据包之后，将数据包返回给client。
- client收到的数据包，源地址是VIP，目标地址是自己的地址。这个可以通过抓包来证实。
下面来做一个关于nginx的LVS，首先说一下我们的环境，两台RS，192.168.245.101和192.168.245.102，LB地址为192.168.245.100，VIP为192.168.245.200，两台RS上部署了最简单的nginx，在index页面上做了一段内容。
echo `ifconfig eth0|grep "inet addr"|awk '{print $1,$2}'` >> index.html
分别访问一下101和102，看看结果
首先保证两台RS是可以正常提供服务的，在这里，最好是将nginx 的配置文件中的listen，不要指定地址，或者指定两个地址，RS和vip，写两条listen ，如果有多个地址，就写多个listen，同一个站点，对应多个IP地址和端口。
下面就开始安装部署ipvsadm了，首先要查看系统的内核版本，uname -r，然后对应下载ipvsadm的安装包，下载地址为：http://www.linuxvirtualserver.org/software/ipvs.html
在内核版本上，创建一个软连接，ln -s /usr/src/kernels/2.6.32-696.el6.x86_64 /usr/src/linux
在源码编译安装之前，需要先解决依赖安装问题：yum install popt* libnl* -y，不安装这些依赖包，在安装ipvsadm时会报错。
解压，编译安装，tar，make && make install，通过查看readme，可以看到安装之后的软件布局。
将ipvs加载进内核中，通过lsmod|grep ip_vs，查看是否加载进内核，如果没有，通过modprobe ip_vs，加载进内核中。
这个时候，就开始配置VS和RS了，具体代码如下：
ipvsadm -A -t 192.168.245.200: -s wrr -p
ipvsadm -a -t 192.168.245.200: -r 192.168.245.101: -g -w
ipvsadm -a -t 192.168.245.200: -r 192.168.245.102: -g -w
-A是添加VS，-s是指定调度算法，schedule调度，wrr是一种算法，-p是保持会话，-t表示TCP端口，如果是-u则是udp端口
-a是添加RS，添加RS是要在某一个VS上添加，-g表示direct route模式，-w是在wrr算法中的权重值
可以通过-help查看命令帮助信息
添加完成之后，通过ipvsadmi -L -n查看，–stats查看整个的状态。
添加完成之后，需要在每个RS上创建lo0接口，配置上 VIP地址。在RS上增加lo接口，配置VIP，做ARP抑制，这个时候访问VIP是无法访问的，配置的是子接口，但是抑制arp是在主接口上，默认值都是0。
ifconfig lo: 192.168.245.200 netmask 255.255.255.255 up
echo "" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "" > /proc/sys/net/ipv4/conf/all/arp_announceroute add -host 192.168.245.200 dev lo:
这个写都配置完成之后，就可以通过VIP来访问了。
由于LVS是一种应用，是需要自己配置的，所以重启之后，服务就会消失，需要重新配置加载，下面我们要考虑的是，做一个脚本，能够开机自启动，并且能够监测RS的状态，当RS服务不可用时，需要将该节点从LVS中移除，当节点可用时，再添加回来。
首先我们先做一个自动的LVS配置脚本，具体脚本如下：
[ -f /etc/init.d/functions ] && . /etc/init.d/functionsVIP=192.168.245.200
PORT=
NETMASK=255.255.255.0
IFCONFIG=/sbin/ifconfig
IPVSADM=/sbin/ipvsadm
ROUTE=/sbin/route
RIP=(
192.168.245.101
192.168.245.102
)
#define the VIP dev
secondary_dev=eth0:`echo $VIP|cut -d. -f4`
#panduan dev is exist,if exists ,down the dev[ `$IFCONFIG|grep $secondary_dev|wc -l` -eq ] && $IFCONFIG $secondary_dev down
$IFCONFIG $secondary_dev $VIP netmask $NETMASK up#clear the ipvs
$IPVSADM -C
#add virtual server
$IPVSADM -A -t $VIP:$PORT -s wrr -p
#add real server
for ((i=;i<`echo ${#RIP[*]}`;i++))
do
$IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g -w
done
这是一个自动添加的脚本，如果做的好的话，应该还包含删除等操作，所以我们再优化一下：
[ -f /etc/init.d/functions ] && . /etc/init.d/functions VIP=192.168.245.200
PORT=
NETMASK=255.255.255.0
IFCONFIG=/sbin/ifconfig
IPVSADM=/sbin/ipvsadm
ROUTE=/sbin/route
RIP=(
192.168.245.101
192.168.245.102
)
#define the VIP dev
secondary_dev=eth0:`echo $VIP|cut -d. -f4`
#panduan dev is exist,if exists ,down the dev ipvs_start(){ [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq ] && $IFCONFIG $secondary_dev down
$IFCONFIG $secondary_dev $VIP netmask $NETMASK up #clear the ipvs
$IPVSADM -C
#add virtual server
$IPVSADM -A -t $VIP:$PORT -s wrr -p
#add real server
for ((i=;i<`echo ${#RIP[*]}`;i++))
do
$IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g -w
done
[ $? -eq ] && action " starting ipvs..." /bin/true || action " starting ipvs..." /bin/false
} ipvs_stop(){
$IPVSADM -C
$IFCONFIG $secondary_dev down
[ $? -eq ] && action " stopping ipvs..." /bin/true || action " starting ipvs..." /bin/false
}
usage(){
echo "$0 usage: {start|stop|restart}"
} main(){
if [ $# -ne ];then
usage
else case "$1" in
start|START)
ipvs_start
;;
stop|STOP)
ipvs_stop
;;
restart|RESTART)
ipvs_stop
ipvs_start
;;
*)
usage
esac
fi
}
main $*
在这个脚本中，我们用到了函数定义和函数的调用，在shell函数定义时要()，在调用的时候不需要()，另外，main函数的调用直接main $*就可以。
在VIP数组中，可以通过${#VIP[*]}来计算属组的长度，然后通过${#VIP[i]}来取值。
以上的代码是在LVS上面的配置，而在RS上面的配置就比较简单了，只需要添加lo0接口地址，然后抑制arp就可以了。简单写一下。
[ -f /etc/init.d/functions ] && . /etc/init.d/functions
VIP=192.168.245.200
PORT=
NETMASK=255.255.255.255
IFCONFIG=/sbin/ifconfig
secondary_dev=lo:`echo $VIP|cut -d. -f4` ipvs_start(){ [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq ] && route del -host $VIP && $IFCONFIG $secondary_dev down
$IFCONFIG $secondary_dev $VIP netmask $NETMASK up
echo "" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "" > /proc/sys/net/ipv4/conf/all/arp_announce
route add -host $VIP dev $secondary_dev
[ $? -eq ] && action " starting ipvs..." /bin/true || action " starting ipvs..." /bin/false } ipvs_stop(){
[ `$IFCONFIG|grep $secondary_dev|wc -l` -eq ] && route del -host $VIP && $IFCONFIG $secondary_dev down
echo "" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "" > /proc/sys/net/ipv4/conf/all/arp_announce [ $? -eq ] && action " stopping ipvs..." /bin/true || action " starting ipvs..." /bin/false
} usage(){
echo "$0 usage: {start|stop|restart}"
} main(){
if [ $# -ne ];then
usage
else case "$1" in
start|START)
ipvs_start
;;
stop|STOP)
ipvs_stop
;;
restart|RESTART)
ipvs_stop
ipvs_start
;;
*)
usage
esac
fi
} main $*
