VMware ESXi 6.7 mit Biostar A10N-8800E Mini ITX
Aus znilwiki
Changelog:
- 22.05.2021 erste Version
Vorwort
Ich arbeite beruflich viel mit VMware vSphere - ich behaupte mal ich kenne mich inzwischen ganz gut damit aus.
Da wollte ich auch privat nichts anderes einsetzen.
Jedoch sind mir privat sowohl die Anschaffungskosten als auch die laufenden Kosten wichtig.
Der private ESXi sollte also nicht zu teuer sein - und nicht Zuviel Strom verbrauchen.
Viele setzen dazu einen Intel NUC ein - der war mir zu teuer und zu unflexibel. Es gibt jede Menge ITX-Mainboards mit bereits aufgelöteter CPU, zu durchaus Attraktiven Preisen (zumindest im März 2020 war das so). Viele der eingesetzten Prozessoren sind Grundsätzlich für die Virtualisierung / VMware ESXi geeignet. In der Praxis hapert es aber dann wieder daran das zum Beispiel die CPU zwar Virtualisierung unterstützt, man im BIOS diese Option aber nicht aktivieren kann (und natürlich ist diese dann ab Werk deaktiviert).
Nach vielen Abenden der Recherche bin ich dann auf auf die nachfolgend beschreibende Hardware gekommen. Inzwischen habe ich bereits 2 ESXi-Server auf dieser Basis gebaut. Als ich den ersten im März 2020 gebaut habe, kostete das Mainboard gerade mal 79 Euro. Im Mai 2021 kostet es um die 140 Euro. Bei ebay gibt es das Board auch regelmäßig für um die 80 Euro (da habe ich mein 2. nun her).
Den Bau des 2. Server habe ich zum Anlass genommen das einmal genauer zu Dokumentieren damit ich mir das beim nächsten mal nicht wieder neu zusammensuchen muss.
Hardware Einkaufsliste
Mainboard
Hier ist meine Rezension dazu auf Amazon: https://www.amazon.de/gp/customer-reviews/R1S8T96W46Y5ZM/ref=cm_cr_dp_d_rvw_ttl
Die Version 6.0 und 6.1 des Maiboards unterscheiden sich - soweit ich weis - nur durch den Lüfter.
Beide sind zu laut wenn man im gleichen Raum ist und werden deshalb eh ausgetauscht - es ist also egal welche Version Ihr erwischt.
Das Board habe ich aus folgenden Gründen gewählt:
- Die CPU unterstützt alle notwendigen Virtualisierungfeatueres - und auch alle gängigen sonstigen CPU Erweiterungen wie zum Beispiel AES Berechnungen
- 32 GB RAM (2 x 16GB Module), viele andere All-In-One Boards unterstützen nur 8GB
- 1 x NVMe M.2
- 2 x SATA
Das waren Sie schon, die Gründe dafür. Es hat 2 SATA-Ports - und einen M.2 Port. In der Beschreibung steht das wenn man den M.2 Port nutzt einer der beiden SATA-Ports wegfällt. Das ist nur halb richtig. Wenn man eine PCIE-NVMe M.2 einsetzt kann der 2. SATA Port weiter genutzt werden.
RAM
- Crucial CT2K16G4DFD8266 32GB Kit (16GB x2) Speicher
- Crucial Ballistix BL2K16G26C16U4B 2666 MHz, DDR4, DRAM, Desktop Gaming Speicher Kit, 32GB (16GB x2), CL16, Schwarz
Es wird jeder beliebige DDR4 RAM funktioniere.
Festplatten
Auf der NVMe liegen bei mir alle VMs - zumindest mit dem Bootlaufwerk. Die Daten (Laufwerk D: oder /home) liegen dann auf dem 6TB Datengrab.
Die NVMe schafft - aus einer Windows VM heraus - bei mir 500 MByte/s Schreibrate. Zuerst hatte ich eine SSD genutzt die ich noch rumliegen hatte, die kam aber nur auf etwa 50Mbyte/s. Nach dem Umbau auf die NVMe war das ganze spürbar schneller.
USB-Stick
Man kann den ESXi-Server natürlich auch direkt auf die NVMe installieren - ich habe es gerne getrennt und deshalb einen separaten USB-Stick genommen. Ein vorhandener 8GB USB-Stick sollte es tun, ich habe beim letzten Server den hier genommen (und an USB 3.0 angeschlossen):
CPU-Lüfter
Der passt genau auf die CPU und ist erheblich leiser als das Original. Jedoch ist dieser auch höher, also muss man aufpassen was für ein Gehäuse man nimmt.
Im BIOS gibt es eine Option für die Lüfterkalibrierung - das sollte man unbedingt einmal machen. Ich habe die Lüftereinstellung ansonsten auf "Auto" und "Aggressive".
Gehäuse
Ich habe bisher 2 verschiedene Gehäuse eingesetzt:
Das Gehäuse ist mein erstes. Es bietet genug Platz für 1x 2,5" und 1x 3,5" HDD. Und vorne ist ein 120mm Lüfter verbaut. Diesen habe ich durch einen rot leuchtenden ersetzen den ich über einen Regler in der Drehzahl reduziert habe. Durch den vorderen Lüfter ist es immer "Kalt" im Gehäuse
Und es passen 2 von den Gehäusen nebeneinander in einen 19" Schrank.
Da hat der Geiz zu geschlagen - und der Platz. Ich brauchte ein flacheres Gehäuse. Dieses hat mich nur 32 Euro gekostet und bietet Platz für 1x 2,5" und 2x 3,5". Und dann ist immer noch ein 5 1/4 Zoll Schacht frei. Dafür ist leider kein Gehäuselüfter vorgesehen. Die Seiten haben Lüftungslöcher und die CPU kann über den Netzteilschacht Luft ansaugen (denn der bleibt leer)
Netzteil
Mit einem normalen ATX-Netzteil lag der Verbrauch im Leerlauf um 20 Watt höher als mit einer PicoPSU (35 statt 15 Watt). Man spart im Jahr also um die 50 bis 60 Euro wenn man eine PicoPSU einsetzt, da hat sich der Kauf schnell rentiert.
- PicoPSU-90 12V DC-DC ATX Mini-ITX 0-90W Netzteil Power Supply nutze ich in meinem ersten ESXi
- Richer-R Netzteil Module, 24Pin ATX 12 V DC Eingang Breadboard Netzteilmodul,Tragbar 150W nutze ich in meinem 2. ESXi
Als Netzteil verwenden beide das hier:
BIOS-Einstellungen
Den 2. ESXi habe ich im BIOS wie folgt konfiguriert (den 1. müsste ich mal kontrollieren):
Advanced:
ACPI Settings/WakeUp Event control
--> Enable ACPI Auto Configuration Enabled
Erp Control Disabled
Restore AC Power Loss Power On (Damit nach einem Stromausfall das Gerät automatisch wieder an geht)
Wake system with Fixed Time Disabled
PS2 Keyboard PowerOn Disabled
PS2 Mouse PowerOn Disabled
USB Device Wakeup from S3/S4 Disabled
SATA Configuration
--> OnChip SATA function Enabled
OnChip SATA Type AHCI
Smart Fan Control
--> Smart Fan1 3PIN
Fan Calibrate Einmal ausführen nachdem Ihr den neuen CPU Lüfter verbaut habt
Control Mode Aggressive oder nach eigener Vorliebe
IT8613 Super IO Configuration
--> Serial Port 1 Configuration
--> Serial Port Disabled Ich brauche den Port nicht
PC Health Status
--> PWM Processor Hot Enabled Drosselt die CPU falls diese zu Warm wird
Shutdown Temperature Disabled
CPU Configuration
--> PowerNow Enabled AMD-Technik zum Stromsparen für Laptop-Prozessoren (das die Frequenz dynamisch angepasst wird)
Damit kann die CPU-Frequenz auch mal unterhalb von 2,1GHz liegen
PSTATE Adjustment PState 0
PPC Adjustment PState 0
NX Mode Enabled No-execute page protection Funktion
SVM Mode Enabled Aktiviert die Unterstützung für Virtualisierung - die wichtigste Einstellung überhaupt!
CPB Mode Auto Taktet einen CPU Kern bei Bedarf dynamisch höher - auf bis zu 3,1GHz (statt 2,1GHz)
C6 Mode Enabled Dient ebenfalls zum Stromsparen der CPU
PCI Subsystem Settings
--> Above 4G Decoding Disabled
SR-IOV Support Disabled
BME DMA Mitigation Disabled
Network Stack Configuration --> Network Stack Disabled Wäre für das Booten über Netzwerk nötig
CSM Configuration
--> CSM Support Enabled
GateA20 Active Upon Request
INT19 Trap Response Immediate
Boot option filter UEFI only
Network UEFI
Storage UEFI
Video UEFI
Other PCI device ROM priority UEFI
USB Configuration
--> Legacy USB Support Enabled
XHCI Hand-off Enabled
EHCI Hand-off Disabled
USB Mass Storage Driver Support Enabled
USB transfer time-out 20 sec
Device reset time-out 20 sec
Device power-up delay Auto
Falls ihr einen USB-Stick gesteckt habt (für ESXi Installation) taucht der hier auf und sollte auf Auto stehen
Chipset:
South Bridge
--> SB USB Configuration
--> XHCI Controller Enabled
XHCIO Port 0 Enabled
XHCIO Port 1 Enabled
XHCIO Port 2 Enabled
XHCIO Port 3 Enabled
EHCI HC(Bus 0 Dev 18 Fn0) Enabled
USB Internal Port 0 Enabled
HUB Port 0 Enabled
HUB Port 1 Enabled
HUB Port 2 Enabled
HUB Port 3 Enabled
USB Internal Port 1 Enabled
Onboard Device
--> Realtek PCIE NIC Enabled
Onboard LAN Option ROM Disabled
GFX Configuration
--> IOMMU Disabled
Remote Display Feature Disabled
Gnb Hd Audio Enabled
Primary Video Adaptor Int Graphics (IGD)
Integrated Graphics Auto
PSPP Policy Disabled
Surround View Disabled
Boot:
Setup Prompt Timeout 30 Anzahl der Sekunden in der BIOS wartet ob Ihr eine Taste drücken wollt. Bootup NumLock State On Full Screen Logo Display Disabled zeigt damit Textmeldungen udn Details statt einem großen Logo beim Booten Boot Option #1 Nach der Installation hier ggf. die erste Partition des USB-Sticks eintragen (macht er automatisch) Fast Boot Disabled Boot Success Beep Enabled BIOS Flash protection Enabled New Boot Option Policy Default
O.N.E.:
DDR Memory Voltage Auto
Memory Configuration
--> Memory Clock Auto
Bank Interleaving Enabled
Channel Interleaving Enabled
Memory Clear Disabled
ESXi 6.7 ISO erstellen mit RTL-Netzwerktreibern
ESXi 6.7 hat ab Werk keinen Treiber für die OnBoard Netzwerkkarte des Mainboards.
Es ist in aber in ESXi 6.7 noch möglich eigene Treiber zu installieren.
Nachfolgend erstellen wir uns ein Installations-ISO Image ´welches die Treiber enthält. Dazu wird das ESXi auf Akzeptanz-Level "Community" umgestellt. Das kann dazu führen das es Probleme gibt wenn ihr Updates in das ESXi einspielen wollt. Erstellt dann einfach wie nachfolgend beschrieben die ISO einfach noch einmal und Installiert diese dann einfach als Update drüber.
Die Anleitung erstellt immer ein ISO-Image mit dem aktuellsten Patchlevel.
Vorrausetzungen
- PowerShell 5.1 (Windows 10, Windows Server 2016 oder höher)
- VMware PowerCLI
Öffnet eine PowerShell-Sitzung als Administrator und führ folgende Befehle aus:
Install-Module -Name PowerShellGet -Force Install-Module -Name VMware.PowerCLI
Und schon habe Ihr die aktuelle PowerCLI installiert
Jetzt erlauben wir noch die Ausführung von unbekannten Scripten:
Set-ExecutionPolicy -ExecutionPolicy Bypass
ISO erstellen
Erstellt euch einen neuen Ordner in welchen die Dateien abgelegt werden sollen, ich nutze hier
D:\TEMP\esxi\
Öffnet eine PowerShell-Sitzung als Administrator und wechselt in diesen Ordner.
Jetzt laden wir das Skript herunter welches uns die ISO erstellt:
Invoke-WebRequest -OutFile ESXi-Customizer-PS-v2.6.0.ps1 http://vibsdepot.v-front.de/tools/ESXi-Customizer-PS-v2.6.0.ps1
Die Webseite zum Skript ist diese: https://www.v-front.de/p/esxi-customizer-ps.html#download
und ladet die Datei ESXi-Customizer-PS-v2.6.0.ps1
herunter und speichert diese im Verzeichnis das Ihr zuvor erstellt habt Öffnet eine PowerShell-Sitzung als Administrator und wechselt in diesen Ordner