Quelltext der Seite VMware ESXi 6.7 mit Biostar A10N-8800E Mini ITX

<u>'''Changelog:'''</u><br>
* 22.05.2021 erste Version
* 14.02.2022 Alternative A10N-9830E ergänzt mit Hinweis das diese auch funktioniert
----
==Vorwort==
Ich arbeite beruflich viel mit VMware vSphere - ich behaupte mal ich kenne mich inzwischen ganz gut damit aus.<br>
Da wollte ich auch privat nichts anderes einsetzen.<br>
Jedoch sind mir privat sowohl die Anschaffungskosten als auch die laufenden Kosten wichtig.<br>
Der private ESXi sollte also nicht zu teuer sein - und nicht u´zuviel Strom verbrauchen.<br>
<br>
Viele setzen dazu einen Intel NUC ein - der war mir zu teuer und zu unflexibel. Es gibt jede Menge ITX-Mainboards mit bereits aufgelöteter CPU, zu durchaus attraktiven Preisen (zumindest im März 2020 war das so). Viele der eingesetzten Prozessoren sind Grundsätzlich für die Virtualisierung / VMware ESXi geeignet. In der Praxis hapert es aber dann wieder daran das zum Beispiel die CPU zwar Virtualisierung unterstützt, man im BIOS diese Option aber nicht aktivieren kann (und natürlich ist diese dann ab Werk deaktiviert).<br>
<br>
Nach vielen Abenden der Recherche bin ich dann auf auf die nachfolgend beschriebene Hardware gekommen. Inzwischen habe ich bereits 2 ESXi-Server auf dieser Basis gebaut. Als ich den ersten im März 2020 gebaut habe, kostete das Mainboard gerade mal 79 Euro. Im Mai 2021 kostet es um die 140 Euro. Bei ebay gibt es das Board auch regelmäßig für um die 80 Euro (da habe ich mein 2. nun her).<br>
Den Bau des 2. Server habe ich zum Anlass genommen das einmal genauer zu Dokumentieren damit ich mir das beim nächsten mal nicht wieder neu zusammensuchen muss.<br>
<br>
----

==Hardware Einkaufsliste==
===Mainboard===
{{Hinweis|Das ganze funktioniert 1:1 auch mit dem Mainboard '''Biostar A10N-9830E'''. Dieses ist Optisch identisch zum hier vorgestellten Board, die CPU taktet aber höher auf bis zu 3,1GHz statt 2,1GHz. Ich habe einen meiner Server erfolgreich durch den einfachen Austausch des Mainboards umgestellt}}
* [https://www.biostar.com.tw/app/en/mb/introduction.php?S_ID=950 Biostar A10N-8800E Version 6.1]<br>
** [https://www.amazon.de/gp/product/B07NJ1Z2K9/ Amazon]
** [https://www.ebay.de/sch/i.html?_nkw=A10N-8800E ebay]
* [https://www.biostar-europe.com/app/de/mb/introduction.php?S_ID=974 Biostar A10N-9830E]
** [https://shop.x-hardware.de/Biostar-A10N-9830E/20348 X-Hardware]
* [https://www.biostar.com.tw/app/en/mb/introduction.php?S_ID=976 Biostar A10N-9830M]

Hier ist meine Rezension dazu auf Amazon: https://www.amazon.de/gp/customer-reviews/R1S8T96W46Y5ZM/ref=cm_cr_dp_d_rvw_ttl
Die Version 6.0 und 6.1 des Maiboards unterscheiden sich - soweit ich weis - nur durch den Lüfter.<br>
Beide sind zu laut wenn man im gleichen Raum ist und werden deshalb eh ausgetauscht - es ist also egal welche Version Ihr erwischt.
Das Board habe ich aus folgenden Gründen gewählt:<br>
* Die CPU unterstützt alle notwendigen Virtualisierungfeatueres - und auch alle gängigen sonstigen CPU Erweiterungen wie zum Beispiel AES Berechnungen
* 32 GB RAM (2 x 16GB Module), viele andere All-In-One Boards unterstützen nur 8GB
* 1 x NVMe M.2
* 2 x SATA
<br>
Das waren Sie schon, die Gründe dafür. Es hat 2 SATA-Ports - und einen M.2 Port. In der Beschreibung steht das wenn man den M.2 Port nutzt einer der beiden SATA-Ports wegfällt. Das ist nur halb richtig. Wenn man eine PCIE-NVMe M.2 einsetzt kann der 2. SATA Port weiter genutzt werden.<br>
----

===RAM===
* [https://www.amazon.de/gp/product/B0736W5BH2 Crucial CT2K16G4DFD8266 32GB Kit (16GB x2) Speicher]
* [https://www.amazon.de/gp/product/B083TRRT13 Crucial Ballistix BL2K16G26C16U4B 2666 MHz, DDR4, DRAM, Desktop Gaming Speicher Kit, 32GB (16GB x2), CL16, Schwarz]
Es wird jeder beliebige DDR4 RAM funktioniere.<br>
----
===Festplatten===
* [https://www.amazon.de/gp/product/B07YFFX5MD WD Blue SN550 NVMe SSD 1 TB]
* [https://www.amazon.de/gp/product/B07MYKZGVX Western Digital WD60EZAZ 6 TB]
Auf der NVMe liegen bei mir alle VMs - zumindest mit dem Bootlaufwerk. Die Daten (Laufwerk D: oder /home) liegen dann auf dem 6TB Datengrab.<br>
Die NVMe schafft - aus einer Windows VM heraus - bei mir 500 MByte/s Schreibrate. Zuerst hatte ich eine SSD genutzt die ich noch rumliegen hatte, die kam aber nur auf etwa 50Mbyte/s. Nach dem Umbau auf die NVMe war das ganze spürbar schneller.<br>
----
===USB-Stick===
Man kann den ESXi-Server natürlich auch direkt auf die NVMe installieren - ich habe es gerne getrennt und deshalb einen separaten USB-Stick genommen. Ein vorhandener 8GB USB-Stick sollte es tun, ich habe beim letzten Server den hier genommen (und an USB 3.0 angeschlossen):<br>
* [https://www.amazon.de/gp/product/B077VXV323 SanDisk SDCZ430-032G-G46 Ultra Fit 32 GB FlashLaufwerk USB 3.1]
----
===CPU-Lüfter===
* [https://www.amazon.de/gp/product/B009LEKGGE Noctua NF-A6x25 FLX, Leiser Premium-Lüfter, 3-Pin (60mm, Braun)]
Der passt genau auf die CPU und ist erheblich leiser als das Original. Jedoch ist dieser auch höher, also muss man aufpassen was für ein Gehäuse man nimmt.<br>
Im BIOS gibt es eine Option für die Lüfterkalibrierung - das sollte man unbedingt einmal machen. Ich habe die Lüftereinstellung ansonsten auf "Auto" und "Aggressive".<br>
Trotzdem kann es sein das er den CPU-Lüfter immer mal wieder zwischendurch anhält - das ist ok und zeigt nur das gerade Langeweile herrscht.<br>
Der Lüfter lässt sich mit längeren M3 Schrauben (30mm) leicht verschrauben.
----

===Gehäuse===
Ich habe bisher 2 verschiedene Gehäuse eingesetzt:<br>
* [https://www.amazon.de/gp/product/B00COWN8MO SilverStone SST-SG05BB-Lite]
Das Gehäuse ist mein erstes. Es bietet genug Platz für 1x 2,5"  und 1x 3,5" HDD. Und vorne ist ein 120mm Lüfter verbaut. Diesen habe ich durch einen rot leuchtenden ersetzen den ich über einen Regler in der Drehzahl reduziert habe. Durch den vorderen Lüfter ist es immer "Kalt" im Gehäuse<br>
Und es passen 2 von den Gehäusen nebeneinander in einen 19" Schrank.<br>
* [https://www.mindfactory.de/product_info.php/Inter-Tech-Case-ITX-MI-008-ITX--ohne-Sichtfenster--ohne-Netzteil_1370737.html Inter-Tech Case ITX MI-008 ITX, ohne Sichtfenster, ohne Netzteil]<br>
Da hat der Geiz zu geschlagen - und der Platz. Ich brauchte ein flacheres Gehäuse. Dieses hat mich nur 32 Euro gekostet und bietet Platz für 1x 2,5" und 2x 3,5". Und dann ist immer noch ein 5 1/4 Zoll Schacht frei. Dafür ist leider kein Gehäuselüfter vorgesehen. Die Seiten haben Lüftungslöcher und die CPU kann über den Netzteilschacht Luft ansaugen (denn der bleibt leer).
{{Warnung|Ich kann das ITX-MI-008 nicht empfehlen - es wird schlichtweg zu warm darin. Ein Gehäuselüfter ist aus meiner Sicht zwingend notwendig. Die CPU kann unter Last ganz schön Wärme erzeugen und diese Wärme muss abtransportiert werden. Ein langsamer Gehäuselüfter wie im SST-SG05BB reicht aus damit alles immer "kalt" ist, ohne Lüft wird es jedoch ganz schnell sehr warm bis richtiggehend heiß!}}
Ich habe mir damit geholfen das ich in den Deckel des ITX-MI-008 ein Loch für einen 120mm Lüfter geschnitten habe. Bei dem Aufwand hätte ich dann aber doch lieber gleich ein Gehäuse mit Lüfter kaufen können.<br>
----

===Netzteil===
Mit einem normalen ATX-Netzteil lag der Verbrauch im Leerlauf um 20 Watt höher als mit einer PicoPSU (35 statt 15 Watt). Man spart im Jahr also um die 50 bis 60 Euro wenn man eine PicoPSU einsetzt, da hat sich der Kauf schnell rentiert.<br>
* [https://www.amazon.de/gp/product/B004QDP05C PicoPSU-90 12V DC-DC ATX Mini-ITX 0-90W Netzteil Power Supply] nutze ich in meinem ersten ESXi
* [https://www.amazon.de/gp/product/B07FTLQ39R Richer-R Netzteil Module, 24Pin ATX 12 V DC Eingang Breadboard Netzteilmodul,Tragbar 150W] nutze ich in meinem 2. ESXi
Als Netzteil verwende ich das hier:<br>
* [https://www.amazon.de/gp/product/B00NWH1FTS LEICKE 90W Netzteil]
Da es doch recht warm wurde nutze ich inzwischen das hier:<br>
* [https://www.amazon.de/gp/product/B00YXXAG7C/ LEICKE 150W Netzteil]
----

==BIOS-Einstellungen==
{{Hinweis|Verbesserungsvorschläge sind sehr Willkommen!}}
Den 2. ESXi habe ich im BIOS wie folgt konfiguriert (den 1. müsste ich mal kontrollieren):<br>
<u><big>'''Advanced:'''</big></u><br>
 ACPI Settings/WakeUp Event control
 --> Enable ACPI Auto Configuration   '''Enabled'''
     Erp Control                      '''Disabled'''
     Restore AC Power Loss            '''Power On''' (Damit nach einem Stromausfall das Gerät automatisch wieder an geht)
     Wake system with Fixed Time      '''Disabled'''
     PS2 Keyboard PowerOn             '''Disabled'''
     PS2 Mouse PowerOn                '''Disabled'''
     USB Device Wakeup from S3/S4     '''Disabled'''

 SATA Configuration
 --> OnChip SATA function             '''Enabled'''
     OnChip SATA Type                 '''AHCI'''

 Smart Fan Control (Bei einem A10N-9830E muss man statt dessen F5 drücken)
 --> Smart Fan1                       '''3PIN'''
     Fan Calibrate                    Einmal ausführen nachdem Ihr den neuen CPU Lüfter verbaut habt
     Control Mode                     '''Aggressive''' oder nach eigener Vorliebe

 IT8613 Super IO Configuration
 --> Serial Port 1 Configuration
     --> Serial Port                  '''Disabled''' Ich brauche den Port nicht

 PC Health Status
 --> PWM Processor Hot                '''Enabled''' Drosselt die CPU falls diese zu Warm wird
     Shutdown Temperature             '''Disabled'''

 CPU Configuration
 --> PowerNow                          '''Enabled''' AMD-Technik zum Stromsparen für Laptop-Prozessoren (das die Frequenz dynamisch angepasst wird)
                                                     Damit kann die CPU-Frequenz auch mal unterhalb von 2,1GHz liegen
     PSTATE Adjustment                 '''PState 0'''
     PPC Adjustment                    '''PState 0'''
     NX Mode                           '''Enabled''' No-execute page protection Funktion
     SVM Mode                          '''Enabled''' Aktiviert die Unterstützung für Virtualisierung - die wichtigste Einstellung überhaupt!
     CPB Mode                          '''Auto'''    Taktet einen CPU Kern bei Bedarf dynamisch höher - auf bis zu 3,1GHz (statt 2,1GHz)
     C6 Mode                           '''Enabled''' Dient ebenfalls zum Stromsparen der CPU

 PCI Subsystem Settings
 --> Above 4G Decoding                 '''Disabled'''
     SR-IOV Support                    '''Disabled'''
     BME DMA Mitigation                '''Disabled'''

 Network Stack Configuration
 --> Network Stack                     '''Disabled''' Wäre für das Booten über Netzwerk nötig

 CSM Configuration
 --> CSM Support                       '''Enabled'''
     GateA20 Active                    '''Upon Request'''
     INT19 Trap Response               '''Immediate'''
     Boot option filter                '''UEFI only'''
     Network                           '''UEFI'''
     Storage                           '''UEFI'''
     Video                             '''UEFI'''
     Other PCI device ROM priority     '''UEFI'''

 USB Configuration
 --> Legacy USB Support                '''Enabled'''
     XHCI Hand-off                     '''Enabled'''
     EHCI Hand-off                     '''Disabled'''
     USB Mass Storage Driver Support   '''Enabled'''
     USB transfer time-out             '''20 sec'''
     Device reset time-out             '''20 sec'''
     Device power-up delay             '''Auto'''
     Falls ihr einen USB-Stick gesteckt habt (für ESXi Installation) taucht der hier auf und sollte auf '''Auto''' stehen
<br>
<u><big>'''Chipset:'''</big></u><br>
 South Bridge
 --> SB USB Configuration
     --> XHCI Controller               '''Enabled'''
         XHCIO Port 0                  '''Enabled'''
         XHCIO Port 1                  '''Enabled'''
         XHCIO Port 2                  '''Enabled'''
         XHCIO Port 3                  '''Enabled'''
         EHCI HC(Bus 0 Dev 18 Fn0)     '''Enabled'''
         USB Internal Port 0           '''Enabled'''
           HUB Port 0                  '''Enabled'''
           HUB Port 1                  '''Enabled'''
           HUB Port 2                  '''Enabled'''
           HUB Port 3                  '''Enabled'''
         USB Internal Port 1           '''Enabled'''

 Onboard Device
 --> Realtek PCIE NIC                  '''Enabled'''
     Onboard LAN Option ROM            '''Disabled'''

 GFX Configuration
 --> IOMMU                             '''Disabled'''
     Remote Display Feature            '''Disabled'''
     Gnb Hd Audio                      '''Enabled'''
     Primary Video Adaptor             '''Int Graphics (IGD)'''
     Integrated Graphics               '''Auto'''
     PSPP Policy                       '''Disabled'''
     Surround View                     '''Disabled'''
<br>
<u><big>'''Boot:'''</big></u><br>
 Setup Prompt Timeout                  '''30''' Anzahl der Sekunden in der BIOS wartet ob Ihr eine Taste drücken wollt.
 Bootup NumLock State                  '''On'''
 Full Screen Logo Display              '''Disabled''' zeigt damit Textmeldungen udn Details statt einem großen Logo beim Booten
 Boot Option #1                        Nach der Installation hier ggf. die erste Partition des USB-Sticks eintragen (macht er automatisch)
 Fast Boot                             '''Disabled'''
 Boot Success Beep                     '''Enabled'''
 BIOS Flash protection                 '''Enabled'''
 New Boot Option Policy                '''Default'''
<br>
<u><big>'''O.N.E.:'''</big></u><br>
 DDR Memory Voltage                    '''Auto'''
 Memory Configuration
 --> Memory Clock                      '''Auto'''
     Bank Interleaving                 '''Enabled'''
     Channel Interleaving              '''Enabled'''
     Memory Clear                      '''Disabled'''
<br>
----

==ESXi 6.7 ISO erstellen mit RTL-Netzwerktreibern==
ESXi 6.7 hat ab Werk keinen Treiber für die OnBoard Netzwerkkarte des Mainboards.<br>
Es ist in aber in ESXi 6.7 noch möglich eigene Treiber zu installieren.<br>
Nachfolgend erstellen wir uns ein Installations-ISO Image welches die Treiber enthält. Dazu wird das ESXi auf Akzeptanz-Level '''''CommunitySupported''''' umgestellt. Das kann dazu führen das es Probleme gibt wenn ihr Updates in das ESXi einspielen wollt. Erstellt dann einfach wie nachfolgend beschrieben die ISO einfach noch einmal und Installiert diese dann einfach als Update drüber.<br>
Die Anleitung erstellt immer ein ISO-Image mit dem aktuellsten Patchlevel.<br>
<br>
===Vorrausetzungen===
* PowerShell 5.1 (Windows 10, Windows Server 2016 oder höher)
* VMware PowerCLI
Öffnet eine PowerShell-Sitzung als Administrator und führ folgende Befehle aus:<br>
 Install-Module -Name PowerShellGet -Force
 Install-Module -Name VMware.PowerCLI
Und schon habe Ihr die aktuelle PowerCLI installiert
Jetzt erlauben wir noch die Ausführung von unbekannten Scripten:<br>
 Set-ExecutionPolicy -ExecutionPolicy Bypass
----
===ISO erstellen===
Erstellt euch einen neuen Ordner in welchen die Dateien abgelegt werden sollen, ich nutze hier
 D:\TEMP\esxi\
Öffnet eine PowerShell-Sitzung als Administrator und wechselt in diesen Ordner.<br>
Jetzt laden wir das Skript herunter welches uns die ISO erstellt:<br>
 Invoke-WebRequest -OutFile ESXi-Customizer-PS-v2.6.0.ps1 http://vibsdepot.v-front.de/tools/ESXi-Customizer-PS-v2.6.0.ps1
Die Webseite zum Skript ist diese: 
 https://www.v-front.de/p/esxi-customizer-ps.html#download
und da könnt Ihr die Datei auch von Hand herunterladen.<br>
Jetzt rufen wir das Skript wie folgt auf:<br>
 .\ESXi-Customizer-PS-v2.6.0.ps1 -v67 -vft -load net55-r8168,sata-xahci
Erklärung:
 .\ESXi-Customizer-PS-v2.6.0.ps1     Das Skript selbst
 -v67                                ESXi 6.7 verwenden
 -vft                                Das Repository von v-front.de zusätzlich verwenden
 -load net55-r8168,sata-xahci        von dem Repository den RTL-Netzwerktreiber sowie einen SATA-Treiber holen und einbinden
Den '''''sata-xahci''''' Treiber brauchen wir nicht unbedingt. Falls Ihr mal einen PCIE-SATA Adapter nachrüstet stehe die Chance aber gut das der dann gleich funktioniert.<br>
Details dazu findet Ihr auf der https://vibsdepot.v-front.de/wiki/index.php/List_of_currently_available_ESXi_packages Seite.<br>
<br>
Nachdem Ihr das Skript gestartet habt heisst es einfach abwarten. Er verbringt eine ganze Weile (mehrere Minuten) mit dem Punkt 
 Connecting the VMware ESXi Online depot ...
das ist normal! Wenn alles durchgelaufen ist (so 5 bis 15 Minuten später) sollte es so aussehen:<br>
:[[Datei:ClipCapIt-210522-130137.PNG]]<br>
Im Verzeichnis sollte nun eine .ISO Datei liegen mit dem gerade aktuellen Patchlevel:
:[[Datei:ClipCapIt-210522-130235.PNG]]<br>
<br>
Ich habe diese ISO nun einfach auf CD gebrannt (externer USB-DVD-Brenner, sind nur 350MByte, einfach rechte Maustaste auf die ISO und '''''Datenträgerabbild brennen''''' wählen) und dann auch von diesem USB-DVD-Laufwerk installiert.<br>
Falls Ihr lieber einen (weiteren) USB-Stick für die Installation vorbereiten wollt so geht das z.B. mit [https://rufus.ie/ Rufus], eine genau Anleitung findet Ihr zum Beispiel hier:<br>
 https://www.xpertstec.com/how-to-create-esxi-installer-usb-flash-drive/
<br>
----

==Installation==
Schließt das CD/DVD Laufwerk oder den Installation-USB-Stick an und startet den Rechner. Mit F9 kommt Ihr ins Bootmenü. Dort müsst Ihr dann euer Medium auswählen.<br>
Der Rest ist eine normale ESXi-Installation.<br>
:[[Datei:ClipCapIt-210522-131224.PNG]]<br>
<br>
----
==Anmerkungen==
Alternativ zum '''Biostar A10N-8800E''' kann man auch das
 Biostar A10N-9830E
 https://www.amazon.de/Biostar-A10N-9830E-Mainboard/dp/B08G8GDWK4
nehmen. Dies bietet im Vergleich zum 8800E 50% mehr CPU Leistung - bei natürlich erhöhen Stromverbrauch wenn die CPU-Leistung gefordert wird. Dafür wäre diese aber ja auch schneller fertig mit der Berechnung.<br>
----

==Kommentare==
<comments />