Creation du cluster Proxmox
ATTENTION, les actions suivantes sont différentes sur chaque machine.
La création du cluster se fait ensuite simplement sur le node1 de votre cluster
Dans votre interface web, naviguez Datacenter puis sur cluster, Create Cluster
- Cluster Name est le nom de votre cluster
- Cluster Network sont les interfaces de communications entre vos noeuds
- Chaque serveur doit avoir le même type d'interface, si vous n'utilisez pas l'ipv6 par exemple, évitez de le configurer ici
Sur les noeuds 2 et 3, dans leurs interfaces web, naviguez Datacenter puis sur cluster et Join Cluster
Vous trouverez les bonnes informations sur le node1 dans Join Information
Copiez les informations dans les noeuds 2 et 3
Associez les interfaces réseaux correspondantes et le mot de passe root du noeud1
Une fois que vous validez, votre serveur va rejoindre le cluster et vous devez voir apparaitre les différents serveurs dans les interfaces web.
Actualiser votre page pour voir apparaitre les serveurs
Les systèmes de fichiers utiles
Pour mes cluster, j'utilise:
- soit zfs pour la facilité d'exploitation et la maniabilité
- soit ceph pour une réplication temps réel sur le cluster Proxmox VE
Disposant de 6 disques, nous pouvons configurer les 2 systèmes en parallèle
ZFS:
Il est simple à configurer car parfaitement intégré à Proxmox VE
Dans l'interface web, vous allez cliquer sur chacun de nodes 1 par 1
Disk --> ZFS --> Create ZFS
Pour optimiser l'IO de vos serveurs et si la configuration vous le permet, le mieux c'est de configurer un raid10 avec une compression lz4
Le raid10 est le plus rapide en lecture/écriture mais vous permet en volume de disque disponible, c'est à vous de savoir la configuration qui vous corresponde
Lorsque le raid zfs est créé, il apparait dans la partie Storage du Datacenter
On édite ce storage pour cocher la partie Thin provision
Cette option permet d'optimiser la taille des partitions en utilisant uniquement la taille réelle dans les vm.
Ceph:
Dans votre interface, sur chacun des noeuds de votre proxmox, vous pouvez lancer l'installation de votre cluster CEPH.
Il suffit de suivre les instructions
On commence par choisir la version de Ceph, de préférence la derniere disponible et le type de repositrory en fonction de votre souscription
Ensuite vous voyez la console s'ouvrir et se lancer les lignes de commande
Sur votre 1er noeud, il vous est demandé la configuration du réseau, soit le réseau public ou réseau d'utilisation et le réseau cluster qui est celui des échanges de données interne à Ceph
Il peut-etre identique, le poid du trafic n'est pas très important, il faut privilégier le réseau ayant le moins de latence pour ne pas nuir au service.
Lorsque vous avez créé le cluster Ceph, il faut que vous ajoutiez chaque noeud en temps que monitor et manager.
Ainsi, pour le monitor, la surveillance viendra de l'ensemble des serveurs, et pour le manager, il y a une élection faite entre les membres du cluster pour désigner le serveur maitre.
En cas d'incident le manager changera de maitre actif suivant une nouvelle élection.
Vous pouvez dés à présent ajouter l'ensemble de vos disques en tant qu'OSD.
Les OSD sont les disques servant à la réplication sur chacun des serveurs physiques, vous devez donc les ajouter sur chacune des machines
Dans mon exemple, j'ajoute mes 2 disques /dev/nvme5n1 et /dev/nvme6n1, la configuration indispensable est de cocher Encrypt OSD pour la sécurité et biensur d'indiquer la classe du disque NVME, sinon il prend souvent en compte que ce sont de simple SSD
Lorsque tous vos disques sont configurés, vous les verrez apparaitre dans votre interface comme ceci:
Il ne reste plus qu'a créer votre Ceph Pool pour finaliser votre configuration.
Le Size correspond au nombre de copie de la donnée sur le Cluster Ceph. Elle ne peut être supérieur au nombre de noeud dans votre Cluster.
Le Min. Size est en tout logique le nombre de noeud minimum qui doivent être en ligne pour que le pool fonctionne.
Le nombre de PG sort d'un calcul savant que voici;
|
Dans notre exemple, le nombre d'OSD est de 6 et la taille du pool 3
On arrondi à la puissance de 2 supérieur, --> 6 * 100 / 3 = 200 que j'arrondi à 256