一 集群和分布式

企业群集应用概述

群集的含义

Cluster，集群、群集
由多台主机构成，但对外只表现为一个整体，只提供一个访问入口(域名或IP地址)，相当于一台大型计算机。

问题？

互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求

解决方法

使用价格昂贵的小型机、大型机使用多台相对廉价的普通服务器构建服务群集通过整合多台服务器，使用 LVS来达到服务器的高可用和负载均衡，并以同一个IP地址对外提供相同的服务。
在企业中常用的一种群集技术--LVS (Linux Virtual Server，Linux虚拟服务器

系统性能扩展方式：

• Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务

• Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster

垂直扩展不符合企业效益：

随着计算机性能的增长，其价格会成倍增长

单台计算机的性能是有上限的，不可能无限制地垂直扩展，多核CPU意味着即使是单台计算机也可以并行的。那么，为什么不一开始就并行化技术？

1.1 集群 Cluster

Cluster：集群（群集）,为解决某个特定问题将多台计算机组合起来形成的单个系统，只提供一个

访问入口（域名或ip），相当于大型计算机

群集的目的 

• 提高性能：计算密集应用。如天气预报，核试验模拟
• 降低成本：相对百万美元的超级计算机，价格便宜
• 提高可扩展性：只要增加集群节点即可
• 增强可靠性：多个节点完成相同功能，避免单点失败

企业级Cluster分为三种类型：

负载均衡（LB）：多个主机组成，每个主机只承担一部分访问请求提高应用系统的响应效率，处理更多的访问请求，减少延迟，提高并发和负载能力。 同时也是如今企业运用最多的群集类型。

高可用（HA）：避免 SPOF（single Point Of failure） 提高应用系统的可靠性，减少服务中断时间，确保服务的连续性

高性能运算（HPC）：将多台主机的硬件计算资源整合到一起实现分布式运用，比如 云计算

MTBF:Mean Time Between Failure 平均无故障时间，正常时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间
A = MTBF /（MTBF+MTTR） (0,1)：99%,99.5%,99.9%,99.99%,99.999%

SLA：服务等级协议（简称：SLA，全称：service level agreement）。是在一定开销下为保障服
务的性能和可用性，服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服
务质量的主要因素。在常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这
种水平的时候，就会有一些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。


#停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外停机时间。


Linux Virtual Server

·针对Linux内核开发的负载均衡解决方案1998年5月，由我国的章文高博士创建官方网站: http://www.linuxvirtualserver.org/LVS实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方


调度算法：

#轮询（rr）：将收到的访问请求按照顺序轮流分配给群集中的各节点，均 等地对待每台服务器，而不管服务器实际的连接数和系统负载。 

#加权轮询（wrr）：根据调度器设置的权重值来分发请求，权重 值高的节点优先获得任务并且分配的请求越多，这样可以保证性能高的节点承担更 多请求。 

#最少连接（LC）：根据真实服务器已建立的连接数进行分配，将收 到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近，采用这种方式可以更好地均衡负载。 

#加权最少连接（WLC）：在服务器节点的性能差异较大的 情况下，调度器可以根据节点服务器负载自动调整权重，权重较高的节点将承担更 大比例的活动连接负载。 

#IP_Hash根据请求来源的IP地址进行Hash计算，得到后端服务器，这样来自同一个IP的请求总是会落到同一台服务器上处理，以致于可以将请求上下文信息存储在这个服务器上，

#url_hash 按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。具体没研究过

#fair采用的不是内建负载均衡使用的轮换的均衡算法，而是可以根据页面大小、加载时间长短智能的进行负载均衡。也就是根据后端服务器时间来分配用户请求，响应时间短的优先分配



upstream:

stream:

固定调度算法：rr       wrr     dh（目的地址哈希调度）    sh（源地址哈希调度）

动态调度算法：lc（最小连接数调度） wlc（加权最小连接数调度）

                         lblc（基于地址的最小连接数调度）

1.2 分布式系统

分布式存储：Ceph，GlusterFS，FastDFS，MogileFS

分布式计算：hadoop，Spark

分布式常见应用

• 分布式应用-服务按照功能拆分，使用微服务（单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值服务）

• 分布式静态资源--静态资源放在不同的存储集群上

• 分布式数据和存储--使用key-value缓存系统

• 分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

1.3 集群和分布式

集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成
同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪
一台去完成响应，并且一台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同
的业务，如果一个节点垮了，那这个业务可能就会失败

1.4 集群设计原则

可扩展性—集群的横向扩展能力

可用性—无故障时间 (SLA service level agreement)

性能—访问响应时间

容量—单位时间内的最大并发吞吐量(C10K 并发问题)

1.5 集群设计实现

1.5.1 基础设施层面

• 提升硬件资源性能—从入口防火墙到后端 web server 均使用更高性能的硬件资源

• 多域名—DNS 轮询A记录解析

• 多入口—将A记录解析到多个公网IP入口

• 多机房—同城+异地容灾

• CDN(Content Delivery Network)—基于GSLB(Global Server Load Balance)实现全局负载均衡，如：DNS

1.5.2 业务层面

• 分层：安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化

• 分割：基于功能分割大业务为小服务

• 分布式：对于特殊场景的业务，使用分布式计算

1.6 LB Cluster 负载均衡集群

负载均衡的结构

第一层，负载调度器 (Load Balancer或Director)访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集IP 地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。

第二层，服务器池 (Server Pool)群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

第三层，共享存储(共享存储)为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器 

1.6.1 按实现方式划分

硬件（有钱就用硬件）

F5 Big-IP（F5服务器负载均衡模块）

• Citrix Netscaler

  A10 A10

软件 （没钱就用软件）

lvs：Linux Virtual Server，阿里四层 SLB (Server Load Balance)使用

nginx：支持七层调度，阿里七层SLB使用 Tengine

haproxy：支持七层调度

ats：Apache Traffic Server，yahoo捐助给apache

perlbal：Perl 编写

pound

1.6.2 基于工作的协议层次划分

• 传输层（通用）：DNAT 和 DPORT

LVS：

nginx：stream

haproxy：mode tcp

• 应用层（专用）：针对特定协议，常称为 proxy server

http：nginx, httpd, haproxy(mode http), ...

fastcgi：nginx, httpd, ...

mysql：mysql-proxy, mycat...

1.6.3 负载均衡的会话保持

①session sticky：同一用户调度固定服务器

Source IP：LVS sh算法（对某一特定服务而言）

Cookie

②session replication：每台服务器拥有全部session（复制）

session multicast cluster

③session server：专门的session服务器（server）

Memcached，Redis

1.7 HA 高可用集群实现

keepalived：vrrp协议

Ais：应用接口规范

heartbeat

cman+rgmanager(RHCS)

coresync_pacemaker

2 Linux Virtual Server简介

2.1 LVS介绍

LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现

LVS 官网：http://www.linuxvirtualserver.org/
阿里SLB和LVS：
https://yq.aliyun.com/articles/1803
https://github.com/alibaba/LVS

整个SLB系统由3部分构成: 四层负载均衡，七层负载均衡 和 控制系统，如下图所示;

①四层负载均衡，采用开源软件LVS (linux virtual server) ，并根据云计算需求对其进行了定制化; 该技术已经在阿里巴巴内部业务全面上线应用2年多详见第3节:

②七层负载均衡，采用开源软件Tengine; 该技术已经在阿里巴巴内部业务全面上线应用3年多;参见第4节控制系统，用于 配置和监控 负载均衡系统;

2.2 LVS工作原理

当用户向负载均衡器（Director Server）发起请求，调度器将请求发送至内核空间

Prerouting链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发送到INPUT链

IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已经定义好的

集群服务进行对比，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的 

目标IP地址及端口，并将新的数据包发送到POSTROUTING链

POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，

将数据包最终发送到后端的服务器

2.3 LVS集群体系架构

2.4 LVS 功能及组织架构

负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。

2.4.1 应用于高访问量的业务

如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS

2.4.2 扩展应用程序

可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。

2.4.3 消除单点故障

可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作

2.4.4 同城容灾 （多可用区容灾）

为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。

2.5 LVS集群类型中的相关术语

• VS：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer（lvs服务器）

• RS：Real Server(lvs), upstream server(nginx), backend server(haproxy)（真实服务器）

• CIP：Client IP（访问客户机IP地址）

• VIP：Virtual serve IP VS外网的IP，向外部直接面向用户请求，作为用户请求的目标的IP地址

• DIP：Director IP，主要用于和内部主机通讯的IP地址；

• RIP：Real server IP （后端服务器真实IP地址）

（因为节点服务器的资源都是由NAS或NFS提供，所以NAS或NFS需要做主备、或分布式，从而实现高可用）

访问流程：CIP <--> VIP == DIP <--> RIP

3 LVS工作模式和相关命令

3.1 LVS集群的工作模式

• lvs-nat：地址转换；修改请求报文的目标IP,多目标IP的DNAT

• lvs-dr：直接路由；操纵封装新的MAC地址

• lvs-ip-tun：隧道模式

对于商业来说，最常用NAT模式和DR模式

3.1.1 LVS的NAT模式

缺点：调度器作为所有节点服务器的网关，既作客户端的访问入口，也作节点服务器响应的访问出口，也就意味着调度器将成为整个集群系统的瓶颈

优点：由于再转发过程中做了地址转发，对于节点服务器的安全性比其它模式较好

lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某处的RS的RIP和

PORT实现转发

（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP

（2）请求报文和响应报文都必须经由lvs服务器转发，lvs服务器易于成为系统瓶颈

（3）支持端口映射，可修改请求报文的目标PORT

（4）VS必须是Linux系统，RS可以是任意OS系统

调度器至少要有2个网卡，一个承载VIP用于接收客户端的请求，另一个用于使用私有IP在同一个局域网中与节点服务器相互通信

工作原理：

①用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器

②用户将请求发送至LVS负载均衡调度的器（同时也是网关服务器）的外网网卡上，此时LVS将根据预设的算法选择后端的一台真实服务器（内网中真实处理数据的web服务器），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口

③真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息

3.1.2 IP隧道

3.1.3直接路由

DR模式的特点：

①Director Server（调度器） 和 Real Server（节点服务器） 必须在同一个物理网络中。

②Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。

③Director Server作为群集的访问入口，但不作为网关使用。

④所有的请求报文经由Director Server, 但回复响应报文不能经过Director Server。

⑤Real Server 的网关不允许指向Director Server IP， 即Real Server发送的数据包不允许经过

Director Server。（RS的网关地址只能指定真实的路由器网关）

⑥ Real Server 上的 lo 接口配置VIP的IP地址

确保前端路由器将目标IP为VIP的请求报文发往Director

在前端网关做静态绑定VIP和Director的MAC地址

在RS上使用arptables工具

工作原理：  

用户发送请求到Director Server（负载均衡器）,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间

由于Director Server和 Real Server 在同一个网络中，所以是通过二层数据链路层来传输

内核空间判断数据包的目标IP是本机IP，此时IPVS比对数据包请求的服务是否为集群服务，若是，重新封装数据包，修改源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server.

Real Server发现请求报文的MAC地址是自己的MAC地址，就接收此报文，重新封装报文(源IP地址为VIP，目标IP为CIP),将响应报文通过lo接口传送给物理网卡然后向外发出

Real Server直接将响应报文传送到客户端

3.2 LVS 调度算法

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态

分为两种：静态方法和动态方法

仅根据算法本身进行调度

静态：

1 RR：roundrobin，轮询,较常用

2 WRR：Weighted RR，加权轮询,较常用

3 SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

4 DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡,如: Web缓存

动态：

主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度

1 LC：least connections 适用于长连接应用

Overhead=activeconns*256+inactiveconns

2、WLC：Weighted LC，默认调度方法,较常用

Overhead=(activeconns*256+inactiveconns)/weight

3、SED：Shortest Expection Delay，初始连接高权重优先,只检查活动连接,而不考虑非活动连接

Overhead=(activeconns+1)*256/weight

4、NQ：Never Queue，第一轮均匀分配，后续SED

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理,实现Web Cache等

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS,,实现Web Cache等

4 ipvsadm 工具

4.1 ipvsadm 工具选项说明

-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-s: 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc)
-a: 添加真实服务器（节点服务器）
-d: 删除某一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
一w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-l: 列表查看 LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息，常与"-l“选项组合使用。ipvsadm -ln


#管理集群服务
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address #删除
ipvsadm –C #清空
ipvsadm –R #重载,相当于ipvsadm-restore
ipvsadm -S [-n] #保存,相当于ipvsadm-save
#管理集群中的RS
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]  
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

选项：
lvs类型：
    -g: gateway, dr类型，默认
    -i: ipip, tun类型
    -m: masquerade（伪装）, nat类型        
-w weight：权重

例子：配置需要两条命令

①ipvsadm -A -t 12.0.0.1:80 -s rr

-A 新建代理服务器

-t    tcp协议

12.0.0.01:80

-s   rr




②ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.11:80 -m



web服务器  

yum install ipvsadm


Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm

LVS负载均衡-NAT模式的部署 

实验目的：

通过NAT模式使外网客户机能够访问到相关的web服务，并且LVS调度器使内网中的web服务器达到负载均衡的效果。此外NFS共享存储为web服务提供更大的存储空间

设备

需要五台虚拟机（一台web1服务器，一台web2服务器，一台负载均衡调度器，一台NFS共享存储机，一台外网客户机做测试作用）

各设备的IP设置如下：

负载调度器：内网关 ens33：192.168.73.105，外网关 ens36：12.0.0.1
Web节点服务器1：192.168.73.106
Web节点服务器2：192.168.73.107
NFS服务器：192.168.80.108
客户端：12.0.0.12 

第一步：部署共享服务（主机IP：192.168.11.5）

[root@mcb-3 ~]# systemctl stop firewalld 
[root@mcb-3 ~]# setenforce 0
[root@mcb-11-5 ~]# rm -rf /var/run/yum.pid
[root@mcb-11-5 ~]# yum install nfs-utils rpcbind -y
已加载插件：fastestmirror, langpacks
[root@mcb-11-5 ~]# systemctl start rpcbind
[root@mcb-11-5 ~]# systemctl start nfs
[root@mcb-11-5 ~]#  mkdir /benet 
[root@mcb-11-5 ~]#  mkdir /accp
[root@mcb-11-5 benet]# vim  /etc/exports
[root@mcb-11-5 ~]# cat /etc/exports
/benet *
/accp  *
[root@mcb-11-5 benet]# exportfs -r
exportfs: No options for /benet *: suggest *(sync) to avoid warning
exportfs: No options for /accp *: suggest *
[root@mcb-11-5 ~]# exportfs -r
exportfs: No options for /banet* : suggest (sync) to avoid warning
exportfs: No options for /accp *: suggest *(sync) to avoid warning
exportfs: Failed to stat /banet*: No such file or directory
[root@mcb-11-5 ~]# exportfs -v
exportfs: No host name given with /banet* (ro,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,ro,secure,root_squash,no_all_squash), suggest *(ro,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,ro,secure,root_squash,no_all_squash) to avoid warning
/banet*       	<world>(sync,wdelay,hide,no_subtree_check,sec=sys,ro,secure,root_squash,no_all_squash)
/accp         	<world>(sync,wdelay,hide,no_subtree_check,sec=sys,ro,secure,root_squash,no_all_squash)

[root@mcb-11-5 ~]# cd /accp
[root@mcb-11-5 accp]# ls
[root@mcb-11-5 accp]# echo iphone > /benet/index.html
[root@mcb-11-5 accp]# ls
[root@mcb-11-5 accp]# cat  /benet/index.html
iphone
[root@mcb-11-5 accp]# echo vivo > index.html
[root@mcb-11-5 accp]# ls
index.html
[root@mcb-11-5 accp]# cat  index.html
vivo

第二步：配置节点服务器（192.168.11.、192.168.73.107）

[root@mcb-11-4 ~]# systemctl stop firewalld 
[root@mcb-11-4 ~]# setenforce 0
[root@mcb-11-4 ~]# yum install httpd -y
已加载插件：fastestmirror, langpacks
[root@mcb-11-4 ~]# showmount -e 192.168.11.5
Export list for 192.168.11.5:
/accp   *
/banet* *
[root@mcb-11-4 ~]# mount 192.168.11.5:/accp /var/www/html/
[root@mcb-11-4 ~]# systemctl start httpd

[root@mcb-11-8 ~]#systemctl stop firewalld 
[root@mcb-11-8 ~]#setenforce 0
setenforce: SELinux is disabled
[root@mcb-11-8 ~]#
[root@mcb-11-8 ~]#rpm -q httpd
未安装软件包 httpd 
[root@mcb-11-8 ~]#rm -rf /var/run/yum.pid
[root@mcb-11-8 ~]#yum install httpd -y
已加载插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.nju.edu.cn
[root@mcb-11-8 ~]#showmount -e 192.168.11.5
Export list for 192.168.11.5:
/accp  *
/benet *
[root@mcb-11-8 ~]#mount 192.168.11.5:/benet /var/www/html/
[root@mcb-11-8 ~]#systemctl restart network

检测一下：

两台web节点服务器相同的操作：

web1节点服务器的后续操作： 

web2节点服务器的后续操作：

第三步：配置负载调度器（内网关 ens33：192.168.11.7；外网关 ens36：12.0.0.1） 、

 再本地使用yum源安装软件ipvsadm

修改web.server既11-4 11-8的网关改为11-7的ip地址

 检测

NAT模式：通过修改源IP和目的IP来实现负载均衡 

5 安装软件ipvsadm的两种方法

方法一：使用yum安装

[root@zzzcentos1 ~]#yum install ipvsadm.x86_64 -y
或者
#yum install ipvsadm* -y
#安装软件

ipvsadm相关配置文件：

主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm

方法二：可以使用本地yum源安装软件ipvsadm

在上文中

6 LVS负载均衡-DR模式

四台机器都关闭防火墙、防护

对调度服务器进行配置11-4

 

在真实服务器配置11-8 

 

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

在真实服务器配置11-5 

 

测试