接上文

第12章 LVS负载均衡群集

一．群集概述

1.1 群集的类型

无论是哪种群集，都至少包括两台节点服务器，而对外表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机，根据群集所提供的目标差异，可以分为以下三种类型。

n 负载均衡群集（Load Balance Cluster）：以提高应用系统的响应能力，尽可能处理更多的访问请求，减少延迟为目标，获得高并发、高负载（LB）的整体性能，例如：“DNS轮询”、“应用层交换”、“反向代理”等都可用作负载均衡群集。LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。

n 高可用群集（High Availability Cluster），以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。例如，“故障切换”、“双机热备”、“多机热备”等都属于高可用群集技术。HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线，主从则只有主节点在线，但当出现故障时从节点间能自动切换为主节点。

n 高性能运算群集（High Performance Computer Cluster）：以提高应用系统的CPU运算速度，扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力，例如：“云计算”、“网络计算”也可视为高性能运算的一种，高性能运算群集的高性能依赖于“分布式运算”、“并行运算”，通过专用硬件和软件多个服务器的CPU，内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。

1.2 负载均衡的分布结构

在典型的负载均衡群集中，包括三个层次的组件你，如图1所示，前段至少有一个负载调度器（Load Balancer,或称为Director）负载响应并分发来自客户机的访问请求，后端由大量真实服务器（Real Server）构成服务器池（Server Pool）,提供实际的应用服务，整个群集的伸缩性通过增加，删除服务器节点来完成，而这些过程对客户机是透明的，为了保持服务的一致性，所有节点使用共享存储设备。

• n 第一层 负载调度器：这是访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP（Virtual IP，虚拟IP）地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当调度器失效以后平滑替换至备用调度器，确保高可用性。
• n 第二层 服务器池：群集所提供的应用服务（如HTTP、FTP）由服务器池承担，其中的每个节点具有独立的RIP（Real IP，真实IP）地址，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。
• n 第三层 共享存储：为服务器池中的所有节点提供确定，一致的文件存储服务，确保整个群集的统一性，在Linux/Unix环境中，共享存储可以使用NAS设备，或者提供NFS（Network File System，网络文件系统）共享服务的专用服务器。

图1 典型的负载均衡群集结构

1.3 负载均衡的工作模式

关于群集的负载均衡调度技术，可以基于IP、端口、内容等进行分发，其中基于IP的负载均衡调度是效率最高的。基于IP的负载均衡模式中，常见的有地址转换、IP隧道和直接路由三只工作模式。如图2所示。

图2 三种负载均衡模式示意图比较

地址转换（Network Address Translation）：简称NAT模式，类似于防火墙的私有网络结构，负载均衡调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是个节点回应客户机的访问出口。服务器节点使用私有IP地址，与负载均衡调度器位于同一个物理网络，安全性要优于其他两种方式。

IP隧道（IP Tunnel），简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载均衡调度器，服务器节点分散在互联网的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信。

直接路由模式（Direct Routing）：简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络，负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。

以上三种工作模式中，NAT方式只需要一个公网IP地址，从而成为最易用的一种负载均衡模式，安全性也比较好，许多硬件负载均衡设备就是采用这种模式，相比而言，DR模式和TUN模式的负载能力更加强大，适用范围更广，但节点的安全性要稍微差一些。

二．LVS虚拟服务器

Linux Virtual Server是针对Linux内核开放的一个负载均衡项目，由我国章文嵩博士1998年5月创建。LVS实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提供了一种高效的解决方法。

LVS现在已成为Linux内核的一部分，默认编辑为ip_vs模块，必要时自动调用。在Cent6系统中，以下操作可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息。

2.1 LVS的负载均衡算法

针对不同的网络服务和配置需要，LVS调度器提供多种不同的负载均衡调度算法，其中最常用的四种算法包括轮询、最少连接和加权最少连接。

• n 轮询（Round Robin）:将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载。
• n 加权轮询（Weighted Round Robin）：根据真实服务器的处理能力轮流分配收到的访问请求，调度器可以自动查询各节点的负载情况，并动态调整其权重，这样可以保证处理能力强的服务器承担更多的访问流量。
• n 最少连接（Least Connection）：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点，如果所有的服务器节点性能相近，采用这种方式可以更好地均衡负载。
• n 加权最少连接（Weighted Lesat Connections）：在服务器节点的性能差异较大的情况下，可以为正式服务器自动调整权重，权重较高的节点将承担更大比例的活动连接负载。

2.2使用ipvsadm管理工具

ipvsadm是在负载调度器上使用的LVS群集管理工具，通过调用ip_vs模块来添加、删除服务器节点，以及查看群集的运行状态，在Cent6系统中，需要手动安装ipvsadm-1.26-2.el6.x86_64.rpm软件包。

LVS群集的管理工作主要包括创建虚拟服务器、添加服务器节点、查看群集节点状态、删除服务器节点和保存负载分配策略。

（1）创建虚拟服务器

若群集VIP地址为172.16.16.172，针对TCP 80端口提供负载分流服务，使用的调度算法为轮询，则对应的ipvsadm命令操作如下所示，对于负载均衡调度器来说，VIP必须是本机实际已启用的IP地址。

上述操作中，选项-A表示添加虚拟服务器，-t用来指定VIP地址及TCP端口，-s用来指定负载均衡调度算法——轮询（rr），加权轮询——（wrr），最少连接（lc），加权最少连接（wlc）。

（2）添加虚拟服务节点

为虚拟服务器172.16.16.172添加三个服务器节点，IP地址依次为192.168.7.21-24对应的ipvsadm命令操作如下所示，若希望使用保持连接，还应添加“-p 60”选项，其中60为保持时间（秒）。

上述操作中，选项-a表示添加真实服务器，-t用来指定VIP地址及TCP端口，-r用来指定RIP地址及TCP端口，-m表示使用NAT群集模式（-g DR模式和-i TUN模式），-w用来设置权重（权重为0是表示暂停节点）。

（3）查看群集节点状态

组合选项-l可以列表查看LVS虚拟服务器，可以指定只查看某一个VIP地址（默认为查看所有），结合选项-n将以数字形式显示地址、端口等信息。

上述输出结果中，Forward列下的Masq对应Masquerade（地址伪装），表示采用的群集模式为NAT，如果是Route，则表示采用的群集模式为DR。

（4）删除服务器节点

需要从服务器池中删除某一个节点时，使用选项-d，执行删除操作必须制定目标对象，包括节点地址，虚拟IP地址。例如，以下操作将会删除LVS群集172.16.16.172中的节点192.168.7.24。

需要删除整个虚拟服务器时，使用选项-D并指定虚拟IP地址即可，无需指定节点，例如，若执行“ipvsadm –D –t 172.16.16.172:80”，则删除此虚拟服务器。

（5）保存负载均衡分配策略

使用导出/导入工具ipvsadm-save/ ipvsadm-restore可以保存、恢复LVS策略，操作方法类似于iptables规则的导出导入，通过系统服务ipvsadm也可以保存策略，如可执行“service ipvsadm save”，当然也可以快速清除，重建负载分配策略。

三．NFS共享存储服务

NFS是一种基于TCP/IP传输的网络文件系统协议，最初由SUN公司开发。通过使用NFS协议，客户机可以像访问本地目录一样访问远程服务器中的共享资源，对于大多数负载均衡群集来说。使用NFS协议来共享数据存储是比较常见的做法，NFS也是NAS存储设备必然支持的一种协议。

3.1 使用NFS发布共享资源

NFS服务的实现依赖于RPC（Remote Process Call，远程过程调用）机制，以完成远程到本地的映射过程，在Cent6系统中，需要安装nfs-utils、rpcbind软件包来提供NFS共享服务，前者用于NFS共享发布和访问，后者用于RPC支持。

（1）安装nfs-utils、rpcbind软件包

提供RPC支持的服务为rpcbind，提供NFS共享的服务为nfs，完成安装以后建议调整这两个服务的自启动状态，以便每次开机后自动启用，手动加载NFS共享服务时，应该先启动rpcbind，然后再启动nfs.

（2）设置共享目录

NFS的配置文件为/etc/expors，文件默认为空（无任何共享），在exports文件中设置共享资源时，记录格式为“目录位置 客户机地址（权限选项）”。例如，若要将文件夹/opt/wwwroot共享给172.16.16.0/24网段使用，允许读写操作，配置如下所示。

其中客户机地址可以是主机名、IP地址、网段地址，允许使用*.？通配符；权限选项中的rw表示允许读写（ro为只读），sync表示同步写入，no_rot_squash表示当前客户机以root身份访问时赋予本地root权限（默认是root_squash，将作为nfsnobody用户降级对待）。

当需要将同一个目录共享给不同的客户机，且分配不同的权限时，只要以空格分隔符指定多个“客户机（权限选项）”即可，例如，以下操作将/var/ftp/public目录共享给两个客户机，并分别给予只读、读写权限。

（3）启动NFS服务程序

（4）查看本机发布的NFS共享目录

3.2 在客户机中访问NFS共享资源

NFS协议的目标是提供一种网络文件系统，因此对NFS共享的访问也是使用mount命令来进行挂载，对应的文件系统类型为nfs，即可以手动挂载，也可以加入fstab配置文件来实现开机自动挂载，考虑到群集系统中的网络稳定性，NFS服务器与客户机之间最好使用专有网络进行连接。

（1）安装rpcbind软件包，并启动rpcbind服务

若要正常访问NFS共享资源，客户机也需要安装rpcbind包，并启动ipcbind系统服务；另外，为了使用showmount查询工具，建议将nfs-utils软件包也一并装上。

如果已经安装了nfs-utils软件包，则客户机也可使用showmount查看NFS服务器端共享了哪些目录，查询格式为“showmount -e 服务器地址”。

（2）手动挂载NFS共享目录

以root用户身份执行mout操作，将NFS服务器共享的/opt/wwwroot目录挂载到本地目录/var/www/html。与挂载本地文件系统不同的是，设备位置处应指出服务器地址。

完成挂载以后，访问客户机的/var/www/html文件夹，实际上就相当于访问NFS服务器中的/opt/wwwroot文件夹，其中的网络映射过程对于用户程序来说是透明的。例如，上述操作中创建的index.html测试文件，会立刻出现在服务器的/opt/wwwroot/目录下。

（3）修改自动挂载设置

修改/etc/fstab配置文件，加入NFS共享目录的挂载设置。注意将文件系统类型设为nfs，挂载参数建议添加_netdev（设备需要网络）；若添加soft、intr参数就可以实现软挂载，允许在网络中断时放弃挂载。这样客户机就可以在每次开机后自动挂载NFS共享资源了。

四．构建LVS负载均衡群集

4.1 案例：地址转换模式（LVS-NAT）

1.准备案例环境

在NAT模式的群集中，LVS负载调度器是所有节点访问Internet的网关服务器，其外网地址172.16.16.172同时也作为整个群集的VIP地址。LVS调度器具有两块网卡，分别连接内外网，如下图所示。

对于LVS来说，需使用iptables为出站响应配置SNAT转发规则，以便节点服务器能够访问Internet。所有的节点服务器、共享存储位于私有网络内，其默认网设为LVS负载调度器的内网地址（192.168.7.254）。

2.配置负载调度器

（1）配置SNAT转发规则

（2）配置负载分配策略

3.配置节点服务器

所有的节点服务器均使用相同的配置，包括httpd服务端口、网站文档内容。实际上各节点的网站文档可存放在共享存储设备中，从而免去同步的过程，但在案例调试阶段可以为各节点采用不同的网页，以便测试负载均衡效果。

（1）安装httpd，创建测试网页。

（2）启动httpd服务程序

4.测试LVS群集

安排多台测试机，从Internet中直接访问http://172.16.16.172/，将能够看到由真实服务器提供的网页测试内容——如果各节点的网页不同，则不同客户机看到的网页也可能不一样（可以多刷新几次）。

在LVS负载调度器中，通过查看节点状态可以观察当前的负载分配情况，对于轮询算法来说，每个节点所获得的连接负载应大致相当。

4.2 案例：直接路由模式（LVS-DR）

1.准备案例环境

在DR模式的群集中，LVS负载调度器作为群集的访问入口，但不作为网关使用；服务器池中的所有节点都各自接入Internet，发送给客户机的Web响应数据包不需要进入LVS负载调度器，如下图所示。

这种方式入站、出站访问数据被分别处理，因此LVS负载调度器和所有的节点服务器都需要配置有VIP地址，以便响应对整个群集的访问，考虑到数据存储的安全性，共享存储设备会放在内部的专用网络中。

2.配置负载调度器

（1）配置虚拟IP地址（VIP）

采用虚接口的方式（eth0:0），为网卡eth0绑定VIP地址，以便响应群集访问。配置结果为eth0172.16.16.173/24 eth0:0 172.16.16.172/24。

（2）调整/proc响应参数

对于DR群集模式来说，由于LVS负载调度器和各节点需要共有VIP地址，应该关闭Linux内核的重定向参数响应。

（3）配置负载分配策略

3.配置节点服务器

使用DR模式时，节点服务器也需要配置VIP地址，并调整内核的APP响应参数以阻止更新VIP的MAC地址，避免发生冲突。除此以外，Web服务的配置与NAT方类似。

（1）配置虚拟IP地址（VIP）

在每个节点服务器，同样需要具有VIP地址172。16.16.172，但此地址仅用作发送Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口lo:0来承担VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。

（2）调整/proc响应参数。

（3）安装httpd，创建测试网页

（4）启动httpd服务程序

4.测试LVS群集

安排多台测试机，从Internet中直接访问http://172.16.16.172/，将能够看到由真实服务器提供的网页测试内容——如果各节点的网页不同，则不同客户机看到的网页也可能不一样（可以多刷新几次）。

在LVS负载调度器中，通过查看节点状态可以观察当前的负载分配情况，对于轮询算法来说，每个节点所获得的连接负载应大致相当。

---------------------------------------------end------------------------------------------------