Proxmox: Installation 2 Node Cluster mit Replikation und Live-Migration

Changelog:

29.09.2024 erste Version

Vorwort

Ich habe mir einen 2 Node Cluster mit Replikation der VMs und möglicher Live-Migration aufgebaut.
Das ganze läuft auf 2 Mini-PCs mit folgender Ausstattung:

Intel N95 Prozessor (4 Kerne, max 3.4GHz)
16GB RAM DDR4
512GB M.2 SATA SSD
2 x GigaBit-LAN

Die Büchsen kosten um die 200 Euro pro Stück, die Hardware stelle ich separat vor.
Es gab einige Hürden bis ich beide in einem Cluster am laufen hat UND erfolgreich replizieren und eine Live-Migration machen konnte.
Das fing schon damit an das ich beim ersten Setup immer nur Weiter geklickt habe, damit wurde das System mit LVM und 2 Partitionen im EXT4 Format installiert.
Funktioniert an sich - aber ohne ZFS keine Replikation, ohne Replikation keine Live-Migration.

Voraussetzungen

Für ein Failover Cluster mit 2 Nodes, Replikation und Live-Migration brauchen wir folgendes

2 Hardware System, möglichst identisch ausgestattet, gleiche CPU-Familie / Generation
Ein separates Linux-System als Quorum (Es wird nur ein Dienst installiert), dieses darf NICHT mit auf den Proxmox-Servern laufen
Alternativ ein 3. Proxmox-Server.

USB-Stick für Installation vorbereiten

Wir legen einen USB-Stick mit mindestens 2GB bereit und laden uns die Installations-ISO herunter (dort die neueste Version):

https://www.proxmox.com/de/downloads/proxmox-virtual-environment/iso

und RUFUS:

https://rufus.ie/de/

es reicht die Portable Version.
Wir starten Rufus, ja es richtig das das Programm Administrationsrechte anfordert (wir wollen einen USB-Stick partitionieren):

Unter (1) sollte der USB-Stick eingestellt sein, unter 2 wählen wir die ISO mit Proxmox, z.B. proxmox-ve_8.2-2.iso.
Es kommt einen Warnung

Dann auf START klicken:

Wenn er fertig ist können wir mit der Installation loslegen!

Installation der Nodes von USB-Stick

Wir booten das System vom USB-Stick:

Jetzt kommt der wichtige Teil:

Hier unbedingt auf Options klicken:

und eines der zfs Dateisystem auswählen. Habt Ihr nur die eine Festplatte so sollte das

zfs (RAID0) sein.

Falls Ihr eine Boot-Festplatte habt und die VMs später auf einer separaten Festplatte liegen sollen, so braucht ihr das nicht extra von ext4 ändern, müsste aber dann unten die richtige Festplatte gewählt haben.

Das mit dem zfs ist wichtig - ohne ist keine Replikation möglich.

Dann auf Next und die Sprache auswählen + Passwort und Email setzen.
Beim Netzwerk:

Wählt Ihr - falls mehr als eine Netzwerkkarte die richtige aus. Ggf. beim Setup nur ein Netzwerkkabel stecken.
Diese Netzwerkkarte landet dann automatisch in einer Linux Bridge mit dem Namen vmbr0 über welche dann später unsere VMs laufen. Und das Management ist darüber erreichbar.

Danach startet das System neu und ist unter

https://IP-Adresse:8006

im Webbrowser erreichbar:

Der Benutzername ist root, das Passwort hattet Ihr während des Setups festgelegt.

Repository anpassen und Proxmox Updaten

Ihr verbindet euch per SSH mit dem frisch installierten Server,
Benutzername ist wiederum root mit eurem Passwort:

Dann bearbeiten wir folgende Dateien:

nano /etc/apt/sources.list

und unten folgende 2 Zeilen anhängen (für Proxmox 8.x.x / basierend auf Debian Bookworm:

# Community Repository
deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription

Ggf. müsst Ihr bookworm durch das Wort ersetzen was hinter den anderen dort aufgeführten Repositorys steht

Jetzt noch die vorhandenen Enterprise Repos deaktivieren:

nano /etc/apt/sources.list.d/ceph.list

und ein # vor die Zeile setzen:

sowie

nano /etc/apt/sources.list.d/pve-enterprise.list

und ebenfalls alles auskommentieren:

Jetzt können wir die Repository-Informationen aktualisieren:

apt update

und die Updates einspielen:

apt full-upgrade -y