wiki:documentation:avance:keep

Répartition de charge et haute disponibilité avec keepalived

Nous allons voir comment mettre en place une répartition de charge et de la haute disponibilité entre 2 serveurs à l'aide de Keepalived. Dans cet exemple il s’agit de deux serveurs de partages Samba 4.

1 – Les ressources nécessaires 

Sur OpenNebula, il faut absolument un réseau virtuel sans les capacités de filtrage d’usurpation d’adresse MAC et IP (FILTER_MAC_SPOOFING et FILTER_IP_SPOOFING positionnées à NO)

2 VMs avec Samba installé (reals servers)

  • 2 adresses IP dédiées pour les deux serveurs Samba.

A adapter en fonction du nombre de serveurs réels sur lesquels répartir la charge.

2 VMs avec keepalived installé (VRRP/HA servers)

  • 3 adresses IP : Une adresse IP dédiée à chaque serveur (2) et une seconde dédié à la répartition de charge (VIP)
  • 2 adresses IP dédiées aux communications entre les deux serveurs keepalived

2 – Les serveurs réels

Vous installez ensuite une distribution Linux sans le contexte (one-context), car l’interaction avec la configuration réseau de la machine virtuelle est trop importante, ou alors il faudra minimiser le contexte au strict nécessaire.

2.1– Configuration réseau

On peut désactiver l’IP Forwarding

# nano /etc/systemd/network/eth0.network 
[Match]
Name=eth0
 
[Network]
Address=172.26.127.21/28
Gateway=172.26.127.17
DNS=172.26.4.20
IPForward=false

Et surtout ajouter l’adresse IP de la VIP (IP aliasing) sur l’interface de loopback, sinon le serveur réel ne répondra pas aux requêtes transmises par le serveur Keepalived.

# nano /etc/systemd/network/lo.network
[Match]
Name = lo
 
[Address]
Address = 172.26.127.20/32
Scope = host

On redémarre le service réseau

# systemctl restart systemd-networkd.service 

Et pour éviter d’éventuels problèmes sur les caches ARP on modifie le système en conséquence :

# nano /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.default.arp_ignore=1
net.ipv4.conf.default.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2

Et on l’applique les modifications

# sysctl -p /etc/sysctl.d/arp.conf 
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

3– Les serveurs Keepalived (répartition de charge / haute disponibilité)

Tout d’abord il faut affecter une interface dans le réseau préalablement créé, ici ESPE_VIP. (

Et une autre dans un réseau privé et qui sera dédié aux communications inter-serveurs, icie ESPE_VPRIVATE.

3.1 – Configuration réseau

Ici nous allons utiliser systemd-networkd pour configurer le réseau, car nous n’avons pas de contexte opennebula.

# nano /etc/systemd/network/ens3.network
 
[Match]
Name=ens3
 
[Network]
Address=172.26.127.23/28
Gateway=172.26.127.17
DNS=172.26.4.20
IPForward=false

Il faut à présent configurer l’interface qui servira de communication entre les deux serveurs Keepalived.

# nano /etc/systemd/network/ens3.network
 
[Match]
Name=ens4
 
[Network]
Address=192.168.66.23

On redémarre le service

# systemctl restart systemd-networkd

Voilà l’accès réseau au serveur est opérationnel. Il faudra répeter cette opération autant de fois qu'il y a de serveurs Keepalived.

3.2 – La répartition de charge

Pour la répartition de charge il faut installer keepalived et ipvsadm

# pacman -S --noconfirm keepalived ipvsadm
resolving dependencies...
looking for conflicting packages...
 
Packages (2) ipvsadm-1.31-1 keepalived-2.0.20-1
 
Total Installed Size: 0.78 MiB
 
:: Proceed with installation? [Y/n] 
(2/2) checking keys in keyring                                                                                                                 [########################################################################################] 100%
(2/2) checking package integrity                                                                                                               [########################################################################################] 100%
(2/2) loading package files                                                                                                                    [########################################################################################] 100%
(2/2) checking for file conflicts                                                                                                              [########################################################################################] 100%
(2/2) checking available disk space                                                                                                            [########################################################################################] 100%
:: Processing package changes...
(1/2) installing keepalived                                                                                                                   [########################################################################################] 100%
Optional dependencies for keepalived
    ipset: ipset support
(2/2) installing ipvsadm                                                                                                                      [########################################################################################] 100%
:: Running post-transaction hooks...
(1/2) Reloading system manager configuration...
(2/2) Arming ConditionNeedsUpdate...

Il faut ensuite configurer keepalived pour définir l’adresse IP virtuelle et paramétrer la répartition de charge.

Cette configuration s’effectue dans le fichier /etc/keepalived/keepalived.conf

Sur le premier serveur Keepalived (MASTER)

global_defs {
        notification_email {
       		nom-p@univ-nantes.fr
	 }
        notification_email_from keepalived1@inspe.univ-nantes.fr
        smtp_server 172.20.12.55
        router_id ha-smbqualif
        lvs_flush
        lvs_flush_onstop
}
 
vrrp_instance SMB {
	virtual_router_id 20
	state MASTER
	interface ens4
	priority 150
	advert_int 1
	track_interface {
      		ens3
    	}
	unicast_src_ip 192.168.66.23	
	unicast_peer {
		192.168.66.24            
           }
 
	virtual_ipaddress {
		172.26.127.20/28 brd 172.26.127.31 dev ens3 scope global
	}
	smtp_alert
 
	garp_master_delay 2
    	garp_master_repeat 2
    	garp_master_refresh_repeat 1 	
}
 
virtual_server 172.26.127.20 445 {
	protocol TCP
	lb_algo rr
	lb_kind DR 
 
	real_server 172.26.127.21 445 {
		weight 1
		TCP_CHECK {
                	connect_timeout 1
        		connect_port  445
        	}
	}	
 
	real_server 172.26.127.22 445 {
		weight 1
		TCP_CHECK {
        	       	connect_timeout 1
	        	connect_port 445 
        	}	
	}	
}
 
virtual_server 172.26.127.20 139 {
        protocol TCP
        lb_algo rr
        lb_kind DR
 
        real_server 172.26.127.21 139 {
                weight 1
                TCP_CHECK {
                        connect_timeout 1
                        connect_port  445
                }
        }
 
        real_server 172.26.127.22 139 {
                weight 1
                TCP_CHECK {
                        connect_timeout 1
                        connect_port  445
                }
        }
}

Et sur le second serveur keepalived (BACKUP)

global_defs {
        notification_email {
       		nom-p@univ-nantes.fr
	 }
        notification_email_from keepalived2@inspe.univ-nantes.fr
        smtp_server 172.20.12.55
	router_id ha-smbqualif
	lvs_flush
	lvs_flush_onstop
}
 
vrrp_instance SMB {
	virtual_router_id 20
	state BACKUP
	interface ens4
	priority 50
	advert_int 1
	track_interface {
      		ens3
    	}
        unicast_src_ip 192.168.66.24
        unicast_peer {
                192.168.66.23
           }
	virtual_ipaddress {
		172.26.127.20/28 brd 172.26.127.31 dev ens3 scope global
	}
 
	garp_master_delay 2
    	garp_master_repeat 2
    	garp_master_refresh_repeat 1 	
}
 
virtual_server 172.26.127.20 445 {
	protocol TCP
	lb_algo rr
	lb_kind DR 
 
	real_server 172.26.127.21 445 {
		weight 1
		TCP_CHECK {
                	connect_timeout 1
        		connect_port  445
        	}
	}	
 
	real_server 172.26.127.22 445 {
		weight 1
		TCP_CHECK {
        	       	connect_timeout 1
	        	connect_port 445 
        	}	
	}	
}
 
virtual_server 172.26.127.20 139 {
        protocol TCP
        lb_algo rr
        lb_kind DR
 
        real_server 172.26.127.21 139 {
                weight 1
                TCP_CHECK {
                        connect_timeout 1
                        connect_port  445
                }
        }
 
        real_server 172.26.127.22 139 {
                weight 1
                TCP_CHECK {
                        connect_timeout 1
                        connect_port  445
                }
        }
}

On active keepalived au démarrage des serveurs :

# systemctl enable keepalived.service 
Created symlink /etc/systemd/system/multi-user.target.wants/keepalived.service -> /usr/lib/systemd/system/keepalived.service.

Et on démarre keepalived sur les deux serveurs :

# systemctl start keepalived.service

Si tout se passe bien l’adresse IP 172.66.127.20 doit être visible sur l’interface ens3 du keepalived MASTER.

# ip addr show dev ens3
2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 1a:a5:66:04:00:03 brd ff:ff:ff:ff:ff:ff
    altname enp0s3
    inet 172.26.127.23/28 brd 172.26.127.31 scope global ens3
       valid_lft forever preferred_lft forever
    inet 172.26.127.20/28 brd 172.26.127.31 scope global secondary ens3
       valid_lft forever preferred_lft forever
    inet6 fe80::18a5:66ff:fe04:3/64 scope link 
       valid_lft forever preferred_lft forever

Et pour vérifier la répartition de charge :

# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=32768)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.26.127.20:139 rr
  -> 172.26.127.21:139            Route   1      0          0         
  -> 172.26.127.22:139            Route   1      0          0         
TCP  172.26.127.20:445 rr
  -> 172.26.127.21:445            Route   1      0          0         
  -> 172.26.127.22:445            Route   1      0          0         

Ici aucune connexion car cette documentation a été réalisée pendant le confinement COVID-19 ;-)

4 – Ressources documentaires

  • wiki/documentation/avance/keep.txt
  • Dernière modification: 2020/05/26 17:36
  • de sakher-b