Quelltext der Seite Oracle Solaris FC Multipath Fibre Channel Multipathing prüfen und wiederherstellen

<u>'''Changelog:'''</u><br>
* 17.02.2022 erste Version
----
==Ausgangslage==
Ich habe einen Kunden mit 2 '''''Oracle Solaris 11.4 SPARC''''' Servern.<br>
Diese teilen sich 10 Fibre Channel LUNs an einem zentralen Storage für die Datenbanken.<br>
Dazu hat jeder Server hat 2 FC-Controller die über SAN Switche auf ein Storage mit 2 Controllern zugreifen.<br>
Dadurch ergeben sich - in Friedenzeiten - 4 Pfade für jede LUN:
 FC-Controller 1 über Storage-Controller 1
 FC-Controller 1 über Storage-Controller 2
 FC-Controller 2 über Storage-Controller 1
 FC-Controller 2 über Storage-Controller 2
Warum auch immer, das System ist so konfiguriert das es Pfadverluste ausgleichen kann. Jedoch werden verlorene Pfade nicht wieder automatisch aktiviert.<br>
Deshalb dieser Artikel hier.<br>
<br>
----
==Anzahl der Pfade überprüfen==
 mpathadm list lu
Listet und alle Datenträger mit Pfaden auf:<br>
<source>
        /dev/rdsk/c0t5000CCA07D07C100d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t5000CCA07D4645A8d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t60030D9067FD60059EE50AEC54CAA0ECd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90F6FA6005AD777694D6459907d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90BB796005F46DDA81D8113A9Cd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90B78DAB061D6A1A037797E33Fd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90A63F1F05BAC423B3B78428D4d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D904E3E1F054EBC0DA107A0FDB0d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90B83C1F05256AA085067573E3d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D904EE21A05E88BB775FB282C01d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D9012DF1A055C53649AA994F27Dd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90D9DD1A059655804D4A5EAD2Ed0s2
                Total Path Count: 4
                Operational Path Count: 4
</source>
Die ersten beiden mit nur einem Pfad sind lokale Datenträger (Boot-Festplatten / lokaler Datenträger an internem RAID-Controller),<br>
die anderen mit <code>Total Path Count: 4</code> und <code>Operational Path Count: 4</code> sind die FC-Channel LUNs.<br>
<br>
Jetzt habe am Storage einen Controller angehalten und dann neu gestartet:<br>
<source>
        /dev/rdsk/c0t5000CCA07D07C100d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t5000CCA07D4645A8d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t60030D9067FD60059EE50AEC54CAA0ECd0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D90F6FA6005AD777694D6459907d0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D90BB796005F46DDA81D8113A9Cd0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D90B78DAB061D6A1A037797E33Fd0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D90A63F1F05BAC423B3B78428D4d0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D904E3E1F054EBC0DA107A0FDB0d0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D90B83C1F05256AA085067573E3d0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D904EE21A05E88BB775FB282C01d0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D9012DF1A055C53649AA994F27Dd0s2
                Total Path Count: 4
                Operational Path Count: 2
        /dev/rdsk/c0t60030D90D9DD1A059655804D4A5EAD2Ed0s2
                Total Path Count: 4
                Operational Path Count: 2
</source>
Er weis noch das es 4 Pfade waren, hat aber nur 2 davon aktiv. Obwohl zu diesem Zeitpunkt alle Pfade schon wieder zur Verfügung stehen.<br>
<br>
----
==Pfade manuell aktualisieren==
Darauf bin ich nicht selbst gekommen sondern ein Solaris-Profi hat mir das rausgesucht. Wenn ich es richtig verstehe werden die FC-Controller (die PCIe-Karten) schlichtweg neu gestartet/initialisiert.<br>
{{Warnung|Vorweg - das ganze also immer nur mit einem Controller zu zeit machen und warten das sich die Anzahl der Pfade erhöht hat. '''NICHT''' hektisch werden!}}
Zuerst müssen wir die vorhandenen FC-Controller ermitteln:<br>
 luxadm -e port
Ausgabe:
 /devices/pci@300/pci@1/pci@0/pci@11/SUNW,qlc@0/fp@0,0:devctl       CONNECTED
 /devices/pci@300/pci@1/pci@0/pci@11/SUNW,qlc@0,1/fp@0,0:devctl     CONNECTED
In diesem Fall ist das einen '''''Dual-Port Fibre Channel''''' Karte. Wenn es 2 getrennte Adapter sind kann es bei euch also anderes aussehen. Aber das sind dann die im System vorhandenen FC-Adapter.<br>
<br>
Diese starten wir nun nacheinander neu. Zuerst den einen:<br>
 luxadm -e forcelip /devices/pci@300/pci@1/pci@0/pci@11/SUNW,qlc@0/fp@0,0:devctl
einen Moment warten und die Anzahl der Pfade kontrollieren:<br>
 mpathadm list lu
<source>
        /dev/rdsk/c0t5000CCA07D07C100d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t5000CCA07D4645A8d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t60030D9067FD60059EE50AEC54CAA0ECd0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D90F6FA6005AD777694D6459907d0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D90BB796005F46DDA81D8113A9Cd0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D90B78DAB061D6A1A037797E33Fd0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D90A63F1F05BAC423B3B78428D4d0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D904E3E1F054EBC0DA107A0FDB0d0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D90B83C1F05256AA085067573E3d0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D904EE21A05E88BB775FB282C01d0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D9012DF1A055C53649AA994F27Dd0s2
                Total Path Count: 4
                Operational Path Count: 3
        /dev/rdsk/c0t60030D90D9DD1A059655804D4A5EAD2Ed0s2
                Total Path Count: 4
                Operational Path Count: 3
</source>
Super, nun sind es schon 3 Pfade, also den anderen Adapter auch neu starten:<br>
 luxadm -e forcelip /devices/pci@300/pci@1/pci@0/pci@11/SUNW,qlc@0,1/fp@0,0:devctl
Wieder die Kontrolle:<br>
 mpathadm list lu
<source>
        /dev/rdsk/c0t5000CCA07D07C100d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t5000CCA07D4645A8d0s2
                Total Path Count: 1
                Operational Path Count: 1
        /dev/rdsk/c0t60030D9067FD60059EE50AEC54CAA0ECd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90F6FA6005AD777694D6459907d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90BB796005F46DDA81D8113A9Cd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90B78DAB061D6A1A037797E33Fd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90A63F1F05BAC423B3B78428D4d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D904E3E1F054EBC0DA107A0FDB0d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90B83C1F05256AA085067573E3d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D904EE21A05E88BB775FB282C01d0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D9012DF1A055C53649AA994F27Dd0s2
                Total Path Count: 4
                Operational Path Count: 4
        /dev/rdsk/c0t60030D90D9DD1A059655804D4A5EAD2Ed0s2
                Total Path Count: 4
                Operational Path Count: 4
</source>
Prima, alle Pfade sind wieder da. Nun das ganze auf allen anderen Servern wiederholen!<br>
<br>
----
==Kommentare==
<comments />