Creation du cluster Proxmox

ATTENTION, les actions suivantes sont différentes sur chaque machine.
La création du cluster se fait ensuite simplement sur le node1 de votre cluster
Dans votre interface web, naviguez Datacenter puis sur cluster, Create Cluster

 

 Image de cluster Proxmox VE

 

  • Cluster Name est le nom de votre cluster
  • Cluster Network sont les interfaces de communications entre vos noeuds
  • Chaque serveur doit avoir le même type d'interface, si vous n'utilisez pas l'ipv6 par exemple, évitez de le configurer ici

Sur les noeuds 2 et 3, dans leurs interfaces web, naviguez Datacenter puis sur cluster et Join Cluster
Vous trouverez les bonnes informations sur le node1 dans Join Information
Copiez les informations dans les noeuds 2 et 3
Associez les interfaces réseaux correspondantes et le mot de passe root du noeud1

 Image de cluster Proxmox VE

Une fois que vous validez, votre serveur va rejoindre le cluster et vous devez voir apparaitre les différents serveurs dans les interfaces web.
Actualiser votre page pour voir apparaitre les serveurs

 

Les systèmes de fichiers utiles

Pour mes cluster, j'utilise:
- soit zfs pour la facilité d'exploitation et la maniabilité
- soit ceph pour une réplication temps réel sur le cluster Proxmox VE

Disposant de 6 disques, nous pouvons configurer les 2 systèmes en parallèle

 

ZFS:

Il est simple à configurer car parfaitement intégré à Proxmox VE
Dans l'interface web, vous allez cliquer sur chacun de nodes 1 par 1
Disk --> ZFS --> Create ZFS

 Image de cluster Proxmox VE

Pour optimiser l'IO de vos serveurs et si la configuration vous le permet, le mieux c'est de configurer un raid10 avec une compression lz4
Le raid10 est le plus rapide en lecture/écriture mais vous permet en volume de disque disponible, c'est à vous de savoir la configuration qui vous corresponde

Lorsque le raid zfs est créé, il apparait dans la partie Storage du Datacenter
On édite ce storage pour cocher la partie Thin provision

 Image de cluster Proxmox VE

Cette option permet d'optimiser la taille des partitions en utilisant uniquement la taille réelle dans les vm.

 

Ceph: 

Dans votre interface, sur chacun des noeuds de votre proxmox, vous pouvez lancer l'installation de votre cluster CEPH.

 Image de cluster Proxmox VE

 

Il suffit de suivre les instructions

On commence par choisir la version de Ceph, de préférence la derniere disponible et le type de repositrory en fonction de votre souscription

 Image de cluster Proxmox VE

Ensuite vous voyez la console s'ouvrir et se lancer les lignes de commande

 Image de cluster Proxmox VE

Sur votre 1er noeud, il vous est demandé la configuration du réseau, soit le réseau public ou réseau d'utilisation et le réseau cluster qui est celui des échanges de données interne à Ceph

Il peut-etre identique, le poid du trafic n'est pas très important, il faut privilégier le réseau ayant le moins de latence pour ne pas nuir au service.

 Image de cluster Proxmox VE

Lorsque vous avez créé le cluster Ceph, il faut que vous ajoutiez chaque noeud en temps que monitor et manager.

Ainsi, pour le monitor, la surveillance viendra de l'ensemble des serveurs, et pour le manager, il y a une élection faite entre les membres du cluster pour désigner le serveur maitre.

En cas d'incident le manager changera de maitre actif suivant une nouvelle élection.

 Image de cluster Proxmox VE

Vous pouvez dés à présent ajouter l'ensemble de vos disques en tant qu'OSD.

Les OSD sont les disques servant à la réplication sur chacun des serveurs physiques, vous devez donc les ajouter sur chacune des machines

 Image de cluster Proxmox VE

Dans mon exemple, j'ajoute mes 2 disques /dev/nvme5n1 et /dev/nvme6n1, la configuration indispensable est de cocher Encrypt OSD pour la sécurité et biensur d'indiquer la classe du disque NVME, sinon il prend souvent en compte que ce sont de simple SSD

 

Lorsque tous vos disques sont configurés, vous les verrez apparaitre dans votre interface comme ceci:

 Image de cluster Proxmox VE

Il ne reste plus qu'a créer votre Ceph Pool pour finaliser votre configuration.

 Image de cluster Proxmox VE

Le Size correspond au nombre de copie de la donnée sur le Cluster Ceph. Elle ne peut être supérieur au nombre de noeud dans votre Cluster.

Le Min. Size est en tout logique le nombre de noeud minimum qui doivent être en ligne pour que le pool fonctionne.

Le nombre de PG sort d'un calcul savant que voici;

                     (OSDs * 100)

Total PGs = ------------

                         pool size

Dans notre exemple, le nombre d'OSD est de 6 et la taille du pool 3

On arrondi à la puissance de 2 supérieur, -->    6 * 100 / 3 = 200 que j'arrondi à 256