Linux Virtual Server (LVS) 负载均衡集群笔记

LVS-NAT (网络地址转换)

• 原理：调度器作为网关。请求进入时，VS将报文目标地址从VIP改为选中的RIP (DNAT)；响应返回时，VS再将源地址从RIP改回VIP (SNAT) 返回客户端。

• 数据流：Client -> VS (DNAT) -> RS -> VS (SNAT) -> Client

• 特点：

  • RS的网关必须指向VS的DIP。

  • 请求和响应报文都必须经过VS，VS容易成为性能瓶颈。

  • 支持端口映射。

LVS-DR (直接路由) —— 【生产环境最常用】

• 原理：VS仅将请求报文的目标MAC地址修改为选中RS的MAC地址，并将报文转发出去。RS处理后，直接将响应报文发送给客户端，不再经过VS。

• 数据流：Client -> VS (改写MAC) -> RS -> Client

• 关键配置：

• RS必须在lo接口上绑定VIP。

• RS必须进行ARP抑制，防止其网卡直接响应客户端的ARP请求。推荐内核参数如下：

  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore # 仅回答目标IP为接收网卡IP的ARP请求
  echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce # 通告ARP时使用最合适的本地地址

• 特点：性能极高，响应流量不经过VS。但要求VS与RS必须在同一物理网络（广播域），且不支持端口映射。

LVS-TUN (IP隧道)

• 原理：VS将原始的IP报文封装在一个新的IP报文中（源为DIP，目标为RIP），通过IP隧道发送给RS。RS解封装后，直接响应客户端。

• 特点：支持跨地域部署（RIP和VIP可以为公网IP），但RS需支持并配置IP隧道协议。

LVS-FULLNAT

• 原理：VS同时修改请求报文的源地址（CIP -> DIP）和目标地址（VIP -> RIP）。响应报文同样经过VS，进行相反的地址转换。

• 特点：部署最灵活，RIP和DIP可以跨网络。但双向流量均经过VS，且需要内核补丁支持（非内核原生）。

四种模式对比表

VS主机配置

• 配置两个网卡的IP地址。

• 开启内核IP转发功能：

  echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf && sysctl -p

RS1与RS2配置

• 配置网卡IP地址，并设置网关为 192.168.0.100。

• 安装并启动HTTP服务，创建内容不同的测试页面。

  # RS1
  echo "RS1 – 192.168.0.10" > /var/www/html/index.html
  # RS2
  echo "RS2 – 192.168.0.20" > /var/www/html/index.html

在VS上配置LVS规则

# 清空现有规则
ipvsadm -C
# 添加一个VIP的TCP服务，使用加权轮询算法
ipvsadm -A -t 172.25.254.100:80 -s wrr
# 添加两台RS，使用NAT模式(-m)，并设置权重
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 1
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
# 查看配置结果
ipvsadm -Ln

验证与持久化

• 在客户端多次访问 http://172.25.254.100，应看到两个RS页面轮询出现。

• 修改RS1权重为2，再次测试，RS1出现的频率应约为RS2的两倍。

• 保存规则并设置开机自启：

  ipvsadm -S > /etc/sysconfig/ipvsadm
  systemctl enable –now ipvsadm

路由器 (router) 配置

• 配置双网卡IP，开启IP转发。

• 配置SNAT，确保内网服务器能访问外网，并让响应包能正确返回客户端。

  iptables -t nat -A POSTROUTING -o eth0 -j SNAT –to-source 172.25.254.100
  iptables -t nat -A POSTROUTING -o eth1 -j SNAT –to-source 192.168.0.100

调度器 (vsnode) 配置

• 配置DIP 192.168.0.50 和 网关 192.168.0.100。

• 在同一网卡上添加VIP 192.168.0.200/24 作为辅助地址（配置方法参考原文中的address2）。

RS1 / RS2 配置

• 基础网络：配置RIP 192.168.0.x，网关指向路由器 192.168.0.100。

• 在lo接口绑定VIP：创建一个loopback类型的连接，并添加地址 192.168.0.200/32。

  # 示例：复制eth0配置并修改为loopback类型
  cp /etc/NetworkManager/system-connections/eth0.nmconnection /etc/NetworkManager/system-connections/lo.nmconnection
  # 编辑 lo.nmconnection，修改 type=loopback, interface-name=lo, address1=127.0.0.1/8, address2=192.168.0.200/32

• ARP抑制：这是DR模式成功的关键。 必须配置，防止RS的网卡响应针对VIP的ARP请求。

  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
  # 可写入 /etc/sysctl.conf 永久生效

在VS上配置LVS规则 (使用DR模式)

ipvsadm -C
ipvsadm -A -t 192.168.0.200:80 -s rr # VIP为192.168.0.200
ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g # -g 表示DR模式
ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g
ipvsadm -Ln

验证

• 在客户端 172.25.254.99 上多次访问 http://192.168.0.200，应看到RS1和RS2的页面内容轮询出现。可以通过在RS上抓包或查看VS统计信息 (ipvsadm -Ln –stats) 来确认流量分发。