VMware ESXi 6.7 mit Biostar A10N-8800E Mini ITX
Aus znilwiki
Changelog:
- 22.05.2021 erste Version
Vorwort
Ich arbeite beruflich viel mit VMware vSphere - ich behaupte mal ich kenne mich inzwischen ganz gut damit aus.
Da wollte ich auch privat nichts anderes einsetzen.
Jedoch sind mir privat sowohl die Anschaffungskosten als auch die laufenden Kosten wichtig.
Der private ESXi sollte also nicht zu teuer sein - und nicht u´zuviel Strom verbrauchen.
Viele setzen dazu einen Intel NUC ein - der war mir zu teuer und zu unflexibel. Es gibt jede Menge ITX-Mainboards mit bereits aufgelöteter CPU, zu durchaus attraktiven Preisen (zumindest im März 2020 war das so). Viele der eingesetzten Prozessoren sind Grundsätzlich für die Virtualisierung / VMware ESXi geeignet. In der Praxis hapert es aber dann wieder daran das zum Beispiel die CPU zwar Virtualisierung unterstützt, man im BIOS diese Option aber nicht aktivieren kann (und natürlich ist diese dann ab Werk deaktiviert).
Nach vielen Abenden der Recherche bin ich dann auf auf die nachfolgend beschriebene Hardware gekommen. Inzwischen habe ich bereits 2 ESXi-Server auf dieser Basis gebaut. Als ich den ersten im März 2020 gebaut habe, kostete das Mainboard gerade mal 79 Euro. Im Mai 2021 kostet es um die 140 Euro. Bei ebay gibt es das Board auch regelmäßig für um die 80 Euro (da habe ich mein 2. nun her).
Den Bau des 2. Server habe ich zum Anlass genommen das einmal genauer zu Dokumentieren damit ich mir das beim nächsten mal nicht wieder neu zusammensuchen muss.
Hardware Einkaufsliste
Mainboard
Hier ist meine Rezension dazu auf Amazon: https://www.amazon.de/gp/customer-reviews/R1S8T96W46Y5ZM/ref=cm_cr_dp_d_rvw_ttl
Die Version 6.0 und 6.1 des Maiboards unterscheiden sich - soweit ich weis - nur durch den Lüfter.
Beide sind zu laut wenn man im gleichen Raum ist und werden deshalb eh ausgetauscht - es ist also egal welche Version Ihr erwischt.
Das Board habe ich aus folgenden Gründen gewählt:
- Die CPU unterstützt alle notwendigen Virtualisierungfeatueres - und auch alle gängigen sonstigen CPU Erweiterungen wie zum Beispiel AES Berechnungen
- 32 GB RAM (2 x 16GB Module), viele andere All-In-One Boards unterstützen nur 8GB
- 1 x NVMe M.2
- 2 x SATA
Das waren Sie schon, die Gründe dafür. Es hat 2 SATA-Ports - und einen M.2 Port. In der Beschreibung steht das wenn man den M.2 Port nutzt einer der beiden SATA-Ports wegfällt. Das ist nur halb richtig. Wenn man eine PCIE-NVMe M.2 einsetzt kann der 2. SATA Port weiter genutzt werden.
RAM
- Crucial CT2K16G4DFD8266 32GB Kit (16GB x2) Speicher
- Crucial Ballistix BL2K16G26C16U4B 2666 MHz, DDR4, DRAM, Desktop Gaming Speicher Kit, 32GB (16GB x2), CL16, Schwarz
Es wird jeder beliebige DDR4 RAM funktioniere.
Festplatten
Auf der NVMe liegen bei mir alle VMs - zumindest mit dem Bootlaufwerk. Die Daten (Laufwerk D: oder /home) liegen dann auf dem 6TB Datengrab.
Die NVMe schafft - aus einer Windows VM heraus - bei mir 500 MByte/s Schreibrate. Zuerst hatte ich eine SSD genutzt die ich noch rumliegen hatte, die kam aber nur auf etwa 50Mbyte/s. Nach dem Umbau auf die NVMe war das ganze spürbar schneller.
USB-Stick
Man kann den ESXi-Server natürlich auch direkt auf die NVMe installieren - ich habe es gerne getrennt und deshalb einen separaten USB-Stick genommen. Ein vorhandener 8GB USB-Stick sollte es tun, ich habe beim letzten Server den hier genommen (und an USB 3.0 angeschlossen):
CPU-Lüfter
Der passt genau auf die CPU und ist erheblich leiser als das Original. Jedoch ist dieser auch höher, also muss man aufpassen was für ein Gehäuse man nimmt.
Im BIOS gibt es eine Option für die Lüfterkalibrierung - das sollte man unbedingt einmal machen. Ich habe die Lüftereinstellung ansonsten auf "Auto" und "Aggressive".
Trotzdem kann es sein das er den CPU-Lüfter immer mal wieder zwischendurch anhält - das ist ok und zeigt nur das gerade Langeweile herrscht.
Gehäuse
Ich habe bisher 2 verschiedene Gehäuse eingesetzt:
Das Gehäuse ist mein erstes. Es bietet genug Platz für 1x 2,5" und 1x 3,5" HDD. Und vorne ist ein 120mm Lüfter verbaut. Diesen habe ich durch einen rot leuchtenden ersetzen den ich über einen Regler in der Drehzahl reduziert habe. Durch den vorderen Lüfter ist es immer "Kalt" im Gehäuse
Und es passen 2 von den Gehäusen nebeneinander in einen 19" Schrank.
Da hat der Geiz zu geschlagen - und der Platz. Ich brauchte ein flacheres Gehäuse. Dieses hat mich nur 32 Euro gekostet und bietet Platz für 1x 2,5" und 2x 3,5". Und dann ist immer noch ein 5 1/4 Zoll Schacht frei. Dafür ist leider kein Gehäuselüfter vorgesehen. Die Seiten haben Lüftungslöcher und die CPU kann über den Netzteilschacht Luft ansaugen (denn der bleibt leer).
Ich habe mir damit geholfen das ich in den Deckel des ITX-MI-008 ein Loch für einen 120mm Lüfter geschnitten habe. Bei dem Aufwand hätte ich dann aber doch lieber gleich ein Gehäuse mit Lüfter kaufen können.
Netzteil
Mit einem normalen ATX-Netzteil lag der Verbrauch im Leerlauf um 20 Watt höher als mit einer PicoPSU (35 statt 15 Watt). Man spart im Jahr also um die 50 bis 60 Euro wenn man eine PicoPSU einsetzt, da hat sich der Kauf schnell rentiert.
- PicoPSU-90 12V DC-DC ATX Mini-ITX 0-90W Netzteil Power Supply nutze ich in meinem ersten ESXi
- Richer-R Netzteil Module, 24Pin ATX 12 V DC Eingang Breadboard Netzteilmodul,Tragbar 150W nutze ich in meinem 2. ESXi
Als Netzteil verwenden beide das hier:
BIOS-Einstellungen
Den 2. ESXi habe ich im BIOS wie folgt konfiguriert (den 1. müsste ich mal kontrollieren):
Advanced:
ACPI Settings/WakeUp Event control
--> Enable ACPI Auto Configuration Enabled
Erp Control Disabled
Restore AC Power Loss Power On (Damit nach einem Stromausfall das Gerät automatisch wieder an geht)
Wake system with Fixed Time Disabled
PS2 Keyboard PowerOn Disabled
PS2 Mouse PowerOn Disabled
USB Device Wakeup from S3/S4 Disabled
SATA Configuration
--> OnChip SATA function Enabled
OnChip SATA Type AHCI
Smart Fan Control
--> Smart Fan1 3PIN
Fan Calibrate Einmal ausführen nachdem Ihr den neuen CPU Lüfter verbaut habt
Control Mode Aggressive oder nach eigener Vorliebe
IT8613 Super IO Configuration
--> Serial Port 1 Configuration
--> Serial Port Disabled Ich brauche den Port nicht
PC Health Status
--> PWM Processor Hot Enabled Drosselt die CPU falls diese zu Warm wird
Shutdown Temperature Disabled
CPU Configuration
--> PowerNow Enabled AMD-Technik zum Stromsparen für Laptop-Prozessoren (das die Frequenz dynamisch angepasst wird)
Damit kann die CPU-Frequenz auch mal unterhalb von 2,1GHz liegen
PSTATE Adjustment PState 0
PPC Adjustment PState 0
NX Mode Enabled No-execute page protection Funktion
SVM Mode Enabled Aktiviert die Unterstützung für Virtualisierung - die wichtigste Einstellung überhaupt!
CPB Mode Auto Taktet einen CPU Kern bei Bedarf dynamisch höher - auf bis zu 3,1GHz (statt 2,1GHz)
C6 Mode Enabled Dient ebenfalls zum Stromsparen der CPU
PCI Subsystem Settings
--> Above 4G Decoding Disabled
SR-IOV Support Disabled
BME DMA Mitigation Disabled
Network Stack Configuration --> Network Stack Disabled Wäre für das Booten über Netzwerk nötig
CSM Configuration
--> CSM Support Enabled
GateA20 Active Upon Request
INT19 Trap Response Immediate
Boot option filter UEFI only
Network UEFI
Storage UEFI
Video UEFI
Other PCI device ROM priority UEFI
USB Configuration
--> Legacy USB Support Enabled
XHCI Hand-off Enabled
EHCI Hand-off Disabled
USB Mass Storage Driver Support Enabled
USB transfer time-out 20 sec
Device reset time-out 20 sec
Device power-up delay Auto
Falls ihr einen USB-Stick gesteckt habt (für ESXi Installation) taucht der hier auf und sollte auf Auto stehen
Chipset:
South Bridge
--> SB USB Configuration
--> XHCI Controller Enabled
XHCIO Port 0 Enabled
XHCIO Port 1 Enabled
XHCIO Port 2 Enabled
XHCIO Port 3 Enabled
EHCI HC(Bus 0 Dev 18 Fn0) Enabled
USB Internal Port 0 Enabled
HUB Port 0 Enabled
HUB Port 1 Enabled
HUB Port 2 Enabled
HUB Port 3 Enabled
USB Internal Port 1 Enabled
Onboard Device
--> Realtek PCIE NIC Enabled
Onboard LAN Option ROM Disabled
GFX Configuration
--> IOMMU Disabled
Remote Display Feature Disabled
Gnb Hd Audio Enabled
Primary Video Adaptor Int Graphics (IGD)
Integrated Graphics Auto
PSPP Policy Disabled
Surround View Disabled
Boot:
Setup Prompt Timeout 30 Anzahl der Sekunden in der BIOS wartet ob Ihr eine Taste drücken wollt. Bootup NumLock State On Full Screen Logo Display Disabled zeigt damit Textmeldungen udn Details statt einem großen Logo beim Booten Boot Option #1 Nach der Installation hier ggf. die erste Partition des USB-Sticks eintragen (macht er automatisch) Fast Boot Disabled Boot Success Beep Enabled BIOS Flash protection Enabled New Boot Option Policy Default
O.N.E.:
DDR Memory Voltage Auto
Memory Configuration
--> Memory Clock Auto
Bank Interleaving Enabled
Channel Interleaving Enabled
Memory Clear Disabled
ESXi 6.7 ISO erstellen mit RTL-Netzwerktreibern
ESXi 6.7 hat ab Werk keinen Treiber für die OnBoard Netzwerkkarte des Mainboards.
Es ist in aber in ESXi 6.7 noch möglich eigene Treiber zu installieren.
Nachfolgend erstellen wir uns ein Installations-ISO Image welches die Treiber enthält. Dazu wird das ESXi auf Akzeptanz-Level CommunitySupported umgestellt. Das kann dazu führen das es Probleme gibt wenn ihr Updates in das ESXi einspielen wollt. Erstellt dann einfach wie nachfolgend beschrieben die ISO einfach noch einmal und Installiert diese dann einfach als Update drüber.
Die Anleitung erstellt immer ein ISO-Image mit dem aktuellsten Patchlevel.
Vorrausetzungen
- PowerShell 5.1 (Windows 10, Windows Server 2016 oder höher)
- VMware PowerCLI
Öffnet eine PowerShell-Sitzung als Administrator und führ folgende Befehle aus:
Install-Module -Name PowerShellGet -Force Install-Module -Name VMware.PowerCLI
Und schon habe Ihr die aktuelle PowerCLI installiert
Jetzt erlauben wir noch die Ausführung von unbekannten Scripten:
Set-ExecutionPolicy -ExecutionPolicy Bypass
ISO erstellen
Erstellt euch einen neuen Ordner in welchen die Dateien abgelegt werden sollen, ich nutze hier
D:\TEMP\esxi\
Öffnet eine PowerShell-Sitzung als Administrator und wechselt in diesen Ordner.
Jetzt laden wir das Skript herunter welches uns die ISO erstellt:
Invoke-WebRequest -OutFile ESXi-Customizer-PS-v2.6.0.ps1 http://vibsdepot.v-front.de/tools/ESXi-Customizer-PS-v2.6.0.ps1
Die Webseite zum Skript ist diese:
https://www.v-front.de/p/esxi-customizer-ps.html#download
und da könnt Ihr die Datei auch von Hand herunterladen.
Jetzt rufen wir das Skript wie folgt auf:
.\ESXi-Customizer-PS-v2.6.0.ps1 -v67 -vft -load net55-r8168,sata-xahci
Erklärung:
.\ESXi-Customizer-PS-v2.6.0.ps1 Das Skript selbst -v67 ESXi 6.7 verwenden -vft Das Repository von v-front.de zusätzlich verwenden -load net55-r8168,sata-xahci von dem Repository den RTL-Netzwerktreiber sowie einen SATA-Treiber holen und einbinden
Den sata-xahci Treiber brauchen wir nicht unbedingt. Falls Ihr mal einen PCIE-SATA Adapter nachrüstet stehe die Chance aber gut das der dann gleich funktioniert.
Details dazu findet Ihr auf der https://vibsdepot.v-front.de/wiki/index.php/List_of_currently_available_ESXi_packages Seite.
Nachdem Ihr das Skript gestartet habt heisst es einfach abwarten. Er verbringt eine ganze Weile (mehrere Minuten) mit dem Punkt
Connecting the VMware ESXi Online depot ...
das ist normal! Wenn alles durchgelaufen ist (so 5 bis 15 Minuten später) sollte es so aussehen:
Im Verzeichnis sollte nun eine .ISO Datei liegen mit dem gerade aktuellen Patchlevel:
Ich habe diese ISO nun einfach auf CD gebrannt (externer USB-DVD-Brenner, sind nur 350MByte, einfach rechte Maustaste auf die ISO und Datenträgerabbild brennen wählen) und dann auch von diesem USB-DVD-Laufwerk installiert.
Falls Ihr lieber einen (weiteren) USB-Stick für die Installation vorbereiten wollt so geht das z.B. mit Rufus, eine genau Anleitung findet Ihr zum Beispiel hier:
https://www.xpertstec.com/how-to-create-esxi-installer-usb-flash-drive/
Installation
Schließt das CD/DVD Laufwerk oder den Installation-USB-Stick an und startet den Rechner. Mit F9 kommt Ihr ins Bootmenü. Dort müsst Ihr dann euer Medium auswählen.
Der Rest ist eine normale ESXi-Installation.
Anmerkungen
Alternativ zum Biostar A10N-8800E könnte man ggf, auch das
Biostar A10N-9830E https://www.amazon.de/Biostar-A10N-9830E-Mainboard/dp/B08G8GDWK4
nehmen - vermute ich. Von der Optik und der den technischen Daten her scheint es quasi 1:1 identisch mit dem A10N-8800E zu sein, nur die CPU ist noch etwas schneller / höher getaktet.
Dementsprechend könnte der Stromverbrauch etwas höher sein.
Das ist aber noch nicht von mir getestet!