Aktionen

VMware ESXi 6.7 mit Biostar A10N-8800E Mini ITX

Aus znilwiki

Changelog:

  • 22.05.2021 erste Version

Vorwort

Ich arbeite beruflich viel mit VMware vSphere - ich behaupte mal ich kenne mich inzwischen ganz gut damit aus.
Da wollte ich auch privat nichts anderes einsetzen.
Jedoch sind mir privat sowohl die Anschaffungskosten als auch die laufenden Kosten wichtig.
Der private ESXi sollte also nicht zu teuer sein - und nicht Zuviel Strom verbrauchen.

Viele setzen dazu einen Intel NUC ein - der war mir zu teuer und zu unflexibel. Es gibt jede Menge ITX-Mainboards mit bereits aufgelöteter CPU, zu durchaus Attraktiven Preisen (zumindest im März 2020 war das so). Viele der eingesetzten Prozessoren sind Grundsätzlich für die Virtualisierung / VMware ESXi geeignet. In der Praxis hapert es aber dann wieder daran das zum Beispiel die CPU zwar Virtualisierung unterstützt, man im BIOS diese Option aber nicht aktivieren kann (und natürlich ist diese dann ab Werk deaktiviert).

Nach vielen Abenden der Recherche bin ich dann auf auf die nachfolgend beschreibende Hardware gekommen. Inzwischen habe ich bereits 2 ESXi-Server auf dieser Basis gebaut. Als ich den ersten im März 2020 gebaut habe, kostete das Mainboard gerade mal 79 Euro. Im Mai 2021 kostet es um die 140 Euro. Bei ebay gibt es das Board auch regelmäßig für um die 80 Euro (da habe ich mein 2. nun her).
Den Bau des 2. Server habe ich zum Anlass genommen das einmal genauer zu Dokumentieren damit ich mir das beim nächsten mal nicht wieder neu zusammensuchen muss.

Hardware Einkaufsliste

Mainboard

Hier ist meine Rezension dazu auf Amazon: https://www.amazon.de/gp/customer-reviews/R1S8T96W46Y5ZM/ref=cm_cr_dp_d_rvw_ttl Die Version 6.0 und 6.1 des Maiboards unterscheiden sich - soweit ich weis - nur durch den Lüfter.
Beide sind zu laut wenn man im gleichen Raum ist und werden deshalb eh ausgetauscht - es ist also egal welche Version Ihr erwischt. Das Board habe ich aus folgenden Gründen gewählt:

  • Die CPU unterstützt alle notwendigen Virtualisierungfeatueres - und auch alle gängigen sonstigen CPU Erweiterungen wie zum Beispiel AES Berechnungen
  • 32 GB RAM (2 x 16GB Module), viele andere All-In-One Boards unterstützen nur 8GB
  • 1 x NVMe M.2
  • 2 x SATA


Das waren Sie schon, die Gründe dafür. Es hat 2 SATA-Ports - und einen M.2 Port. In der Beschreibung steht das wenn man den M.2 Port nutzt einer der beiden SATA-Ports wegfällt. Das ist nur halb richtig. Wenn man eine PCIE-NVMe M.2 einsetzt kann der 2. SATA Port weiter genutzt werden.

RAM

Es wird jeder beliebige DDR4 RAM funktioniere.

Festplatten

Auf der NVMe liegen bei mir alle VMs - zumindest mit dem Bootlaufwerk. Die Daten (Laufwerk D: oder /home) liegen dann auf dem 6TB Datengrab.
Die NVMe schafft - aus einer Windows VM heraus - bei mir 500 MByte/s Schreibrate. Zuerst hatte ich eine SSD genutzt die ich noch rumliegen hatte, die kam aber nur auf etwa 50Mbyte/s. Nach dem Umbau auf die NVMe war das ganze spürbar schneller.

USB-Stick

Man kann den ESXi-Server natürlich auch direkt auf die NVMe installieren - ich habe es gerne getrennt und deshalb einen separaten USB-Stick genommen. Ein vorhandener 8GB USB-Stick sollte es tun, ich habe beim letzten Server den hier genommen (und an USB 3.0 angeschlossen):

CPU-Lüfter

Der passt genau auf die CPU und ist erheblich leiser als das Original. Jedoch ist dieser auch höher, also muss man aufpassen was für ein Gehäuse man nimmt.
Im BIOS gibt es eine Option für die Lüfterkalibrierung - das sollte man unbedingt einmal machen. Ich habe die Lüftereinstellung ansonsten auf "Auto" und "Aggressive".
Trotzdem kann es sein das er den CPU-Lüfter immer mal wieder zwischendurch anhält - das ist ok und zeigt nur das gerade Langeweile herrscht.

Gehäuse

Ich habe bisher 2 verschiedene Gehäuse eingesetzt:

Das Gehäuse ist mein erstes. Es bietet genug Platz für 1x 2,5" und 1x 3,5" HDD. Und vorne ist ein 120mm Lüfter verbaut. Diesen habe ich durch einen rot leuchtenden ersetzen den ich über einen Regler in der Drehzahl reduziert habe. Durch den vorderen Lüfter ist es immer "Kalt" im Gehäuse
Und es passen 2 von den Gehäusen nebeneinander in einen 19" Schrank.

Da hat der Geiz zu geschlagen - und der Platz. Ich brauchte ein flacheres Gehäuse. Dieses hat mich nur 32 Euro gekostet und bietet Platz für 1x 2,5" und 2x 3,5". Und dann ist immer noch ein 5 1/4 Zoll Schacht frei. Dafür ist leider kein Gehäuselüfter vorgesehen. Die Seiten haben Lüftungslöcher und die CPU kann über den Netzteilschacht Luft ansaugen (denn der bleibt leer)

Netzteil

Mit einem normalen ATX-Netzteil lag der Verbrauch im Leerlauf um 20 Watt höher als mit einer PicoPSU (35 statt 15 Watt). Man spart im Jahr also um die 50 bis 60 Euro wenn man eine PicoPSU einsetzt, da hat sich der Kauf schnell rentiert.

Als Netzteil verwenden beide das hier:

BIOS-Einstellungen

Important.png
Hinweis:Verbesserungsvorschläge sind sehr Willkommen!


Den 2. ESXi habe ich im BIOS wie folgt konfiguriert (den 1. müsste ich mal kontrollieren):
Advanced:

ACPI Settings/WakeUp Event control
--> Enable ACPI Auto Configuration   Enabled
    Erp Control                      Disabled
    Restore AC Power Loss            Power On (Damit nach einem Stromausfall das Gerät automatisch wieder an geht)
    Wake system with Fixed Time      Disabled
    PS2 Keyboard PowerOn             Disabled
    PS2 Mouse PowerOn                Disabled
    USB Device Wakeup from S3/S4     Disabled

SATA Configuration
--> OnChip SATA function             Enabled
    OnChip SATA Type                 AHCI

Smart Fan Control
--> Smart Fan1                       3PIN
    Fan Calibrate                    Einmal ausführen nachdem Ihr den neuen CPU Lüfter verbaut habt
    Control Mode                     Aggressive oder nach eigener Vorliebe

IT8613 Super IO Configuration
--> Serial Port 1 Configuration
    --> Serial Port                  Disabled Ich brauche den Port nicht

PC Health Status
--> PWM Processor Hot                Enabled Drosselt die CPU falls diese zu Warm wird
    Shutdown Temperature             Disabled

CPU Configuration
--> PowerNow                          Enabled AMD-Technik zum Stromsparen für Laptop-Prozessoren (das die Frequenz dynamisch angepasst wird)
                                                    Damit kann die CPU-Frequenz auch mal unterhalb von 2,1GHz liegen
    PSTATE Adjustment                 PState 0
    PPC Adjustment                    PState 0
    NX Mode                           Enabled No-execute page protection Funktion
    SVM Mode                          Enabled Aktiviert die Unterstützung für Virtualisierung - die wichtigste Einstellung überhaupt!
    CPB Mode                          Auto    Taktet einen CPU Kern bei Bedarf dynamisch höher - auf bis zu 3,1GHz (statt 2,1GHz)
    C6 Mode                           Enabled Dient ebenfalls zum Stromsparen der CPU

PCI Subsystem Settings
--> Above 4G Decoding                 Disabled
    SR-IOV Support                    Disabled
    BME DMA Mitigation                Disabled

Network Stack Configuration
--> Network Stack                     Disabled Wäre für das Booten über Netzwerk nötig

CSM Configuration
--> CSM Support                       Enabled
    GateA20 Active                    Upon Request
    INT19 Trap Response               Immediate
    Boot option filter                UEFI only
    Network                           UEFI
    Storage                           UEFI
    Video                             UEFI
    Other PCI device ROM priority     UEFI

USB Configuration
--> Legacy USB Support                Enabled
    XHCI Hand-off                     Enabled
    EHCI Hand-off                     Disabled
    USB Mass Storage Driver Support   Enabled
    USB transfer time-out             20 sec
    Device reset time-out             20 sec
    Device power-up delay             Auto
    Falls ihr einen USB-Stick gesteckt habt (für ESXi Installation) taucht der hier auf und sollte auf Auto stehen


Chipset:

South Bridge
--> SB USB Configuration
    --> XHCI Controller               Enabled
        XHCIO Port 0                  Enabled
        XHCIO Port 1                  Enabled
        XHCIO Port 2                  Enabled
        XHCIO Port 3                  Enabled
        EHCI HC(Bus 0 Dev 18 Fn0)     Enabled
        USB Internal Port 0           Enabled
          HUB Port 0                  Enabled
          HUB Port 1                  Enabled
          HUB Port 2                  Enabled
          HUB Port 3                  Enabled
        USB Internal Port 1           Enabled

Onboard Device
--> Realtek PCIE NIC                  Enabled
    Onboard LAN Option ROM            Disabled

GFX Configuration
--> IOMMU                             Disabled
    Remote Display Feature            Disabled
    Gnb Hd Audio                      Enabled
    Primary Video Adaptor             Int Graphics (IGD)
    Integrated Graphics               Auto
    PSPP Policy                       Disabled
    Surround View                     Disabled


Boot:

Setup Prompt Timeout                  30 Anzahl der Sekunden in der BIOS wartet ob Ihr eine Taste drücken wollt.
Bootup NumLock State                  On
Full Screen Logo Display              Disabled zeigt damit Textmeldungen udn Details statt einem großen Logo beim Booten
Boot Option #1                        Nach der Installation hier ggf. die erste Partition des USB-Sticks eintragen (macht er automatisch)
Fast Boot                             Disabled
Boot Success Beep                     Enabled
BIOS Flash protection                 Enabled
New Boot Option Policy                Default


O.N.E.:

DDR Memory Voltage                    Auto
Memory Configuration
--> Memory Clock                      Auto
    Bank Interleaving                 Enabled
    Channel Interleaving              Enabled
    Memory Clear                      Disabled


ESXi 6.7 ISO erstellen mit RTL-Netzwerktreibern

ESXi 6.7 hat ab Werk keinen Treiber für die OnBoard Netzwerkkarte des Mainboards.
Es ist in aber in ESXi 6.7 noch möglich eigene Treiber zu installieren.
Nachfolgend erstellen wir uns ein Installations-ISO Image ´welches die Treiber enthält. Dazu wird das ESXi auf Akzeptanz-Level CommunitySupported umgestellt. Das kann dazu führen das es Probleme gibt wenn ihr Updates in das ESXi einspielen wollt. Erstellt dann einfach wie nachfolgend beschrieben die ISO einfach noch einmal und Installiert diese dann einfach als Update drüber.
Die Anleitung erstellt immer ein ISO-Image mit dem aktuellsten Patchlevel.

Vorrausetzungen

  • PowerShell 5.1 (Windows 10, Windows Server 2016 oder höher)
  • VMware PowerCLI

Öffnet eine PowerShell-Sitzung als Administrator und führ folgende Befehle aus:

Install-Module -Name PowerShellGet -Force
Install-Module -Name VMware.PowerCLI

Und schon habe Ihr die aktuelle PowerCLI installiert Jetzt erlauben wir noch die Ausführung von unbekannten Scripten:

Set-ExecutionPolicy -ExecutionPolicy Bypass

ISO erstellen

Erstellt euch einen neuen Ordner in welchen die Dateien abgelegt werden sollen, ich nutze hier 

D:\TEMP\esxi\

Öffnet eine PowerShell-Sitzung als Administrator und wechselt in diesen Ordner.
Jetzt laden wir das Skript herunter welches uns die ISO erstellt:

Invoke-WebRequest -OutFile ESXi-Customizer-PS-v2.6.0.ps1 http://vibsdepot.v-front.de/tools/ESXi-Customizer-PS-v2.6.0.ps1

Die Webseite zum Skript ist diese: 

https://www.v-front.de/p/esxi-customizer-ps.html#download

und da könnt Ihr die Datei auch von Hand herunterladen.
Jetzt rufen wir das Skript wie folgt auf:

.\ESXi-Customizer-PS-v2.6.0.ps1 -v67 -vft -load net55-r8168,sata-xahci

Erklärung: 

.\ESXi-Customizer-PS-v2.6.0.ps1     Das Skript selbst
-v67                                ESXi 6.7 verwenden
-vft                                Das Repository von v-front.de zusätzlich verwenden
-load net55-r8168,sata-xahci        von dem Repository den RTL-Netzwerktreiber sowie einen SATA-Treiber holen und einbinden

Den sata-xahci Treiber brauchen wir nicht unbedingt. Falls Ihr mal einen PCIE-SATA Adapter nachrüstet stehe die Chance aber gut das der dann gleich funktioniert.
Details dazu findet Ihr auf der https://vibsdepot.v-front.de/wiki/index.php/List_of_currently_available_ESXi_packages Seite.

Nachdem Ihr das Skript gestartet habt heisst es einfach abwarten. Er verbringt eine ganze Weile (mehrere Minuten) mit dem Punkt 

Connecting the VMware ESXi Online depot ...

das ist normal!

Abgerufen von „https://znil.net/index.php?title=VMware_ESXi_6.7_mit_Biostar_A10N-8800E_Mini_ITX&oldid=12740“