Quelltext der Seite Windows:FTP-Verzeichnisse per Batch sichern, in ein Archiv packen und Status mit Logfile per Email versenden

[[Kategorie:MediaWiki]][[Kategorie:Internet]][[Kategorie:Batch]][[Kategorie:Web]]
Ich habe mir einen kleinen Heimserver aufgebaut (der im gegensatz zu seinem Vorgänger nun 24x7x365 in Betrieb ist) und wollte auf diesen das '''znilwiki'''-Webverzeichnis nun regelmäßig sichern lassen.<br>
Dabei hatte ich die folgenden Ansprüche an diese Sicherung:<br>
* Regelmäßiges, automatisches herunterladen
** per Windows Aufgabenplanung / geplante Tasks wäre ok
** Mein (gekauftes) Backup-Programm konnte es leider nicht direkt
* Packen des heruntergeladenen Ordners in ein Archiv
** Alleine diese Webseite besteht zur Zeit aus über 10.000 Dateien in 2.000 Ordnern (ja ja, die ganzen Screenshots und Skripte ...)
** Robocopy sitzt bei Kopierjobs sonst minutenlang nur an meinen Websicherungen ...
* Benachrichtigung per Email über Erfolg / Misserfolg mit angehängtem Log
** Bin ich von BackupExec so gewohnt ...
Herausgekommen ist dabei nachfolgendes Script - Viel Spaß damit :-)<br>
PS: Falls Ihr die ältesten Backup-Archiv-Dateien regelmäßig auch per Batch löschen wollt - schaut mal hier: [[Windows:Dateien die älter sind als X Tage per Skript / Batch löschen|Dateien die älter sind als X Tage per Skript / Batch löschen]]<br>
<br>
----
==Voraussetzungen==
Dieses Script besteht hinterher aus 2 Dateien:
* dem Script <big><code>'''Backup_FTP_Folders.CMD'''</code></big> selbst
* der Datei <big><code>'''FTP-Folders.txt'''</code></big> in die zu sicherenden FTP-Pfade stehen
Der Pfad zur <big><code>'''FTP-Folders.txt'''</code></big> kann im Script angepasst werden - oder das Script kann auch auf die Datei verzichten und die Pfade werden direkt im Script hinterlegt. Ihr findet einen entsprechenden Bereich mit Kommentaren im Script.<br>
<br>
<big>'''Es werden die folgenden Hilfsprogramme benötigt:'''</big>
* Programm zur Archiverstellung (eines('''<big>!</big>''') von beiden):
** [http://www.7-zip.de/ 7-Zip] (für '''''.7z''''' oder '''''.zip''''' Archive): [http://www.7-zip.de/ http://www.7-zip.de/] oder [http://www.7-zip.org/ http://www.7-zip.org/]
** [http://www.winrar.de/ WinRAR] (für '''''.rar''''' Archive): [http://www.rarlab.com/ http://www.rarlab.com/] oder [http://www.winrar.de/ http://www.winrar.de/]
* Programm für das herunterladen über FTP
** [http://www.gnu.org/software/wget/ WGET]: [http://www.gnu.org/software/wget/ http://www.gnu.org/software/wget/] oder [http://gnuwin32.sourceforge.net/packages/wget.htm http://gnuwin32.sourceforge.net/packages/wget.htm]
* Programm für den Emailversand per Commandline
** [http://caspian.dotconf.net/menu/Software/SendEmail/ sendEmail]: [http://caspian.dotconf.net/menu/Software/SendEmail/ http://caspian.dotconf.net/menu/Software/SendEmail/]
<br>
Im Script könnte ihr an zentraler Stelle die Pfade zu allen '''''.exe''''' Dateien angeben (oder ihr fügt die Pfade wie ich zur globalen '''''%PATH%''''' Variable hinzu).
<br>
<br>
----
==Installation==
Schritt 1: Ladet euch mein Script herunter (Quelltext siehe weiter unten): [[Media:Backup_ftp_folders.zip|Backup_ftp_folders.zip]]<br>
Schritt 2: Archiv in einen Ordner eurer Wahl entpacken<br>
Schritt 3: Falls ihr weder [http://www.7-zip.de/ 7-Zip] noch [http://www.winrar.de/ WinRAR] installiert habt - entscheidet euch für einen von beiden, ladet diesen herunter und Installiert diesen<br>
Schritt 4: Ladet [http://www.gnu.org/software/wget/ WGET] und installiert es<br>
Schritt 5: Ladet [http://caspian.dotconf.net/menu/Software/SendEmail/ sendEmail] herunter und entpackt es in ein Verzeichnis eurer Wahl<br>
<br>
<br>

==Konfiguration==
* Bearbeitet die <big><code>'''FTP-Folders.txt'''</code></big> und tragt eure FTP-Verzeichnisse ein
** Einen Ordner pro Zeile
** Keine(!) abschliessende Leerzeile
** Nehmt zum Testen einen(!) kleinen(!) Ordner - wenn der Rest funktioniert könnt Ihr alle anderen ja nachtragen
** Es wird immer der komplette Inhalt des Ordners inklusive aller Unterordner gesichert!
 C:\Scripts\FTP-Folder.txt
 
 ftp://ftp.domain.local/Ordner1/
 ftp://ftp.domain.local/Ordner2/
 ftp://ftp.domain.local/Ordner/Ordner3/
<br>
<br>
* Bearbeitet (Rechte Maustaste drauf und '''Bearbeiten''') die <big><code>'''Backup_FTP_Folders.CMD'''</code></big> und passt folgende Abschnitte an:
===Benutzernamen und Passwort für FTP-Zugang===
<source lang="DOS">
REM Benutzername und Passwort für die FTP-Anmeldung
SET FTPBENUTZER=wgetbenutzer
SET FTPPASSWORT=YJFgpfJKx5r58GaRRLpseL
</source>
<br>
===Pfad zur FTP-Folder.txt===
Könnt natürlich auch jeden anderen Namen nehmen :-)
<source lang="DOS">
REM Welche Textdatei enthält die Namen der FTP-Ordner die gesichert werden sollen?
REM Hinweis: Ein Host + Ordner pro Zeile, keine leeren Zeilen (auch nicht am Ende!)
REM Beispiel: ftp://ftp.meinserver.local/Verzeichnis/
SET FTPFOLDERDATEI=C:\Skripts\ftp_folders.txt
</source>
<br>
===Pfad Arbeitsverzeichnis/Downloadverzeichnis.txt===
Wohin werden die Dateien geladen? Ordner kann dort liegen bleiben können und muss '''nicht''' in die Datensicherung / Bandsicherung (dazu nehmen wir das Archiv, geht schneller beim Backup)<br>
Wenn er dort liegen bleiben kann, geht der nächste Durchlauf erheblich schneller weil er dann nur noch abgleichen muss - und nicht mehr neu alles kopieren.
<source lang="DOS">
REM Wo soll das Arbeitsverzeichnis liegen? Wenn hierfür keine Datum+Uhrzeits gewählt wird, wird das Verzeichnis bei jedem Durchlauf nur abgeglichen (=schneller)
REM Pfad immer ohne Abschliessendes \ !!!! BACKUPPFAD muss Unterverzeichnis sein, nie Laufwerk direkt nehmen
SET BACKUPLAUFWERK=C:
SET BACKUPPFAD=\WEB-BACKUPS
</source>
<br>
===Pfad Archivdateien===
Wohin mit den Archiven? An Namen+Pfad hängen wir später automatisch Uhrzeit und Datum.
<source lang="DOS">
REM Wie soll das Archiv heissen (inklusive Pfad)?
REM An den Nachfolgenden Pfad und Namen wird dann noch Datum+Uhrzeit (wenn gewählt) + .rar/.7z/.zip angehängt
REM aus M:\WEB-BACKUPS\znil.net wird also M:\WEB-BACKUPS\znil.net-2012-05-11-20-13.rar (oder .7z / .zip)
SET ARCHIVPFADUNDNAME=M:\WEB-BACKUPS\znil.net
</source>
<br>
===Archivtyp===
Je nachdem welchen Packer ihr habt könnt Ihr das Format auswählen.
<source lang="DOS">
REM Auswahl des Archiv-Packers / Typ
REM 
REM RAR = .rar = WinRar (Pfad zur rar.exe muss im Script angepasst werden oder WinRar-Verzeichnis in Path-Variable aufnehmen)
REM 7z  = .7z  = 7zip   (Pfad zur 7z.exe muss im Script angepasst werden oder 7zip-Verzeichnis in Path-Variable aufnehmen)
REM ZIP = .zip = ZIP    (Pfad zur 7z.exe muss im Script angepasst werden oder 7zip-Verzeichnis in Path-Variable aufnehmen)
SET ARCHIVTYP=7z
</source>
Kleine Entscheidungshilfe:
 '''Ordner mit 185MBytes (212MByte auf Datenträger, 10.628 Dateien) als'''
 .7z  :   84,311 MByte
 .rar :   98,822 MByte
 .zip :  105,618 MByte
 auf der jeweils höchstmöglichen Kompressionsstufe
<br>
===Pfade zu den Hilfsprogrammen===
Damit das Skript die auch alle findet. Zur Erinnerung: Ihr braucht WinRar ODER 7-Zip!
<source lang="DOS">
REM Pfade zu rar.exe und/oder 7z.exe, sendemail und wget -> nach Bedarf anpassen.
REM Falls die Verzeichnisse in der %PATH% Variablen stehen entfernen sie alles bis auf die eigentliche EXE Datei
SET wgetEXE="C:\Program Files (x86)\GnuWin32\bin\wget.exe"
SET sevenzipEXE="C:\Program Files\7-Zip\7z.exe"
SET rarEXE="C:\Program Files\WinRAR\rar.exe"
SET sendemailEXE="C:\Program Files (x86)\sendEmail-v156\sendemail.exe"
</source>
<br>
===Email-Setup===
Bitte beachtet die Hinweise zu IPv6 im Text!
<source lang="DOS">
REM Absender und Empfänger der Status-Email,
REM die LOG-Datei und ob es Fehler gab wird per Email versendet
SET MAILFROM=WGET@znil.org
SET MAILLOGTO=bernhard@znil.de

REM wie heisst der SMTP-Server?
REM Achtung, sendemail ist nicht IPv6 fähig - nicht localhost oder 127.0.0.1 verwenden auf Vista/W7/2008(R2)!
SET SMTPSERVER=192.168.1.80
</source>
<br>
===Datum + Uhrzeit===
Ich empfehle: Lasst die Einstellungen so wie sie sind - geht beim Abgleich mit dem FTP-Verzeichnissen am schnellsten!<br>
Das Archiv sichern wir dann im Hauptbackup, den Arbeitsordner lassen wir aus Geschwindigkeits- und Platzggründen weg.<br>
<source lang="DOS">
REM Soll im Arbeitsverzeichnis ein Ordner pro Sicherung mit Datum/Uhrzeit verwendet werden? Wenn NEIN wird nicht jedesmal alles kopiert sondern der Ordner nur aktualisiert
REM unbedingt empfohlen NEIN zu nehmen!
SET BENUTZE_DATUM_UHRZEIT_BACKUPPFAD=NEIN

REM Sollen für die Archive an die Dateinamen Datum und Uhrzeit angehängt werden?
REM Unbedingt empfohlen JA zu nehmen!
SET BENUTZE_DATUM_UHRZEIT_RARPFAD=JA
</source>
<br>

==Und los geht es==
Nun das Speichern nicht vergessen - und los geht es! <br>
Während WGET arbeitet könnt ihr das oben in der Titelleiste des Fensters sehen. Der Text wird in die Log-Datei umgeleitet.<br>
<br>
Habt Ihr Fehler - wird es an einem der von euch verstellten Parametern liegen :-)
Fehlersuche: Kommentiert das <code>'''@echo off'''</code> am Anfang aus und startet das Script in einer Eingabeaufforderung - so könnt ihr mitlesen.<br>
Eventuell kommentiert ihr auch das Löschen der LOG-Dateien aus - in den steht auch was schief gegangen ist.
<br>
<br>
----

=Script Quellcode=
Erst der Download-Link: [[Media:Backup_ftp_folders.zip|Backup_ftp_folders.zip]]
<source lang="DOS">
@echo off
REM ##################################################################################################
REM Sichern von FTP-Verzeichnissen per Batch-Datei
REM Dieses Script lädt das komplette Verzeichnis herunter,
REM Packt das heruntergeladene Verzeichnis in ein Archiv,
REM Sendet eine Email mit Status Erfolge oder Fehlgeschlagen + Log-Datei an gewünschten Empfänger
REM 
REM In dr Konfiguration wie hier wird das Arbeitsverzeichnis nicht gelöscht.
REM dadurch muss in jedem Durchgang nicht alles heruntergeladen werden sondern es wird nur abgeglichen.
REM Die Archive enthalten aber immer alle kompletten Daten für den Durchlauf.
REM
REM Diese Script benötigt noch folgende Zusatzprogramme:
REM WGET, WinRar oder 7zip, SendEmail
REM 
REM Weblinks zu den Programmen (Stand 11.05.2012):
REM WGET:       http://www.gnu.org/software/wget/
REM WinRar:     http://www.winrar.de/
REM 7zip:       http://www.7-zip.de/
REM SendEmail:  http://caspian.dotconf.net/menu/Software/SendEmail/

REM Mai 2012 von Bernhard Linz
REM Bernhard@znil.net
REM Bernhard.Linz@datagroup.de
REM veröffentlicht auf znilwiki: http://znil.net
REM ##################################################################################################
REM ##################################################################################################

REM Benutzername und Passwort für die FTP-Anmeldung
SET FTPBENUTZER=wgetbenutzer
SET FTPPASSWORT=YJFgpfJKx5r58GaRRLpseL
REM Welche Textdatei enthält die Namen der FTP-Ordner die gesichert werden sollen?
REM Hinweis: Ein Host + Ordner pro Zeile, keine leeren Zeilen (auch nicht am Ende!)
REM Beispiel: ftp://ftp.meinserver.local/Verzeichnis/
SET FTPFOLDERDATEI=C:\Skripts\ftp_folders.txt
REM ##################################################################################################
REM ##################################################################################################

REM Wo soll das Arbeitsverzeichnis liegen? Wenn hierfür keine Datum+Uhrzeits gewählt wird, wird das Verzeichnis bei jedem Durchlauf nur abgeglichen (=schneller)
REM Pfad immer ohne Abschliessendes \ !!!! BACKUPPFAD muss Unterverzeichnis sein, nie Laufwerk direkt nehmen
SET BACKUPLAUFWERK=C:
SET BACKUPPFAD=\WEB-BACKUPS

REM Wie soll das Archiv heissen (inklusive Pfad)?
REM An den Nachfolgenden Pfad und Namen wird dann noch Datum+Uhrzeit (wenn gewählt) + .rar/.7z/.zip angehängt
REM aus M:\WEB-BACKUPS\znil.net wird also M:\WEB-BACKUPS\znil.net-2012-05-11-20-13.rar (oder .7z / .zip)
SET ARCHIVPFADUNDNAME=M:\WEB-BACKUPS\znil.net

REM Auswahl des Archiv-Packers / Typ
REM 
REM RAR = .rar = WinRar (Pfad zur rar.exe muss im Script angepasst werden oder WinRar-Verzeichnis in Path-Variable aufnehmen)
REM 7z  = .7z  = 7zip   (Pfad zur 7z.exe muss im Script angepasst werden oder 7zip-Verzeichnis in Path-Variable aufnehmen)
REM ZIP = .zip = ZIP    (Pfad zur 7z.exe muss im Script angepasst werden oder 7zip-Verzeichnis in Path-Variable aufnehmen)
SET ARCHIVTYP=7z

REM Pfade zu rar.exe und/oder 7z.exe, sendemail und wget -> nach Bedarf anpassen.
REM Falls die Verzeichnisse in der %PATH% Variablen stehen entfernen sie alles bis auf die eigentliche EXE Datei
SET wgetEXE="C:\Program Files (x86)\GnuWin32\bin\wget.exe"
SET sevenzipEXE="C:\Program Files\7-Zip\7z.exe"
SET rarEXE="C:\Program Files\WinRAR\rar.exe"
SET sendemailEXE="C:\Program Files (x86)\sendEmail-v156\sendemail.exe"
REM wegtEXE=wget.exe
REM sevenzipEXE=7z.exe
REM rarEXE=rar.exe
REM sendemailEXE=sendemail.exe

REM Absender und Empfänger der Status-Email,
REM die LOG-Datei und ob es Fehler gab wird per Email versendet
SET MAILFROM=WGET@znil.org
SET MAILLOGTO=bernhard@znil.de

REM wie heisst der SMTP-Server?
REM Achtung, sendemail ist nicht IPv6 fähig - nicht localhost oder 127.0.0.1 verwenden auf Vista/W7/2008(R2)!
SET SMTPSERVER=192.168.1.80

REM Soll im Arbeitsverzeichnis ein Ordner pro Sicherung mit Datum/Uhrzeit verwendet werden? Wenn NEIN wird nicht jedesmal alles kopiert sondern der Ordner nur aktualisiert
REM unbedingt empfohlen NEIN zu nehmen!
SET BENUTZE_DATUM_UHRZEIT_BACKUPPFAD=NEIN

REM Sollen für die Archive an die Dateinamen Datum und Uhrzeit angehängt werden?
REM Unbedingt empfohlen JA zu nehmen!
SET BENUTZE_DATUM_UHRZEIT_RARPFAD=JA
SET DATUM_ZEIT_BKP=
SET DATUM_ZEIT_ARCHIV=

REM ##################################################################################################
REM ##################################################################################################
REM Begin des eigentlichen Scripts!
REM ##################################################################################################
REM ##################################################################################################
REM Aktuelles Datum / Zeit ermitteln und in eine für Dateinamen passende Form bringen
REM Schreibweise ist jjjj-mm-tt-mm-hh-ss
setlocal enabledelayedexpansion
SET DATUM_ZEIT=%date:~-4%-%date:~-7,2%-%date:~-10,2%-%time:~-11,2%-%time:~-8,2%-%time:~-5,2%
SET DATUM_ZEIT=!DATUM_ZEIT:^ =0!
setlocal disabledelayedexpansion
IF "%BENUTZE_DATUM_UHRZEIT_BACKUPPFAD%" == "JA" SET DATUM_ZEIT_BKP=\%DATUM_ZEIT%
IF "%BENUTZE_DATUM_UHRZEIT_RARPFAD%" == "JA" SET DATUM_ZEIT_ARCHIV=%DATUM_ZEIT%
SET LOGFILE="%TEMP%\WGET-%DATUM_ZEIT%.txt"
SET LOGFILEGEPACKT="%TEMP%\WGET-%DATUM_ZEIT%"
REM Logfile anlegen (im TEMP-Ordner des Benutzers), löschen wir am Ende wieder
ECHO %DATE% - %TIME% >%LOGFILE%

REM Wenn eines der Programme einen Fehler zurückgibt wirde diese Variable auf JA gesetzt.
REM wird beim versenden der Email ausgewertet für den passenden Betreff
SET GABESFEHLER=NEIN

REM **************************************************************************
REM die mit SET FTPFOLDERDATEI=... oben angegebene Textdatei Zeilenweise einlesen und verarbeiten.
for /F "eol=# tokens=1" %%i in (%FTPFOLDERDATEI%) do call :SCHLEIFE %%i

REM Aufruf der Verzeichniss direkt in diesr Batch, ohne externe Datei mit Liste,
REM Dazu oben das for /F .... auskommentieren und hier für jede FTP-Verzeichnis eine Zeile einfügen
REM CALL :SCHLEIFE ftp://ftp.domain.local/znilwiki-webftp/
REM CALL :SCHLEIFE ftp://ftp.domain.local/mysqldumper/
GoTo VERPACKEN

REM **************************************************************************
:SCHLEIFE
%wgetEXE% --user=%FTPBENUTZER% --password=%FTPPASSWORT% -P"%BACKUPLAUFWERK%%BACKUPPFAD%%DATUM_ZEIT_BKP%" -m "%1" >>%LOGFILE% 2>&1
IF NOT ERRORLEVEL 0 SET GABESFEHLER=JA
GOTO :EOF

REM **************************************************************************
:VERPACKEN
REM WinRar Version (Shareware)(im Verzeichnis in das WinRar installiert wurde gibt es die rar.exe für Commandline)
IF "%ARCHIVTYP%" == "RAR" %rarEXE% a %ARCHIVPFADUNDNAME%-%DATUM_ZEIT_ARCHIV%.rar -ri1 -m5 "%BACKUPLAUFWERK%%BACKUPPFAD%%DATUM_ZEIT_BKP%" >>%LOGFILE% 2>&1
REM 7zip Version (Kostenlos)(im Verzeichnis in das 7zip Installiert wurde gibt es die 7z.exe für Commandline, Achtung richte Version für BS installieren (x32 oder x64))
REM 7zip Archiv erzeugen (kleiner und damit besser als .rar und .zip)
IF "%ARCHIVTYP%" == "7z" %sevenzipEXE% a -mx9 -r -t7z %ARCHIVPFADUNDNAME%-%DATUM_ZEIT_ARCHIV%.7z "%BACKUPLAUFWERK%%BACKUPPFAD%%DATUM_ZEIT_BKP%\*.*" >>%LOGFILE% 2>&1
REM normales ZIP Archiv erzeugen (größer als .7zip oder .rar)
IF "%ARCHIVTYP%" == "ZIP" %sevenzipEXE% a -mx9 -r -tzip %ARCHIVPFADUNDNAME%-%DATUM_ZEIT_ARCHIV%.zip "%BACKUPLAUFWERK%%BACKUPPFAD%%DATUM_ZEIT_BKP%\*.*" >>%LOGFILE% 2>&1
REM auf Fehler prüfen (Rückgabewert der EXE-Dateien ungleich 0)
IF NOT ERRORLEVEL 0 SET GABESFEHLER=JA
GoTo ENDE

REM **************************************************************************
:ENDE
REM Logfile packen bevor wir es an die Email anhängen,
REM wird sonst auch oft sehr groß - aber gut zu packen (10MByte auf wenige hundert Kilobyte)
IF "%ARCHIVTYP%" == "RAR" (
	SET LOGFILEGEPACKT=%LOGFILEGEPACKT%.rar
	%rarEXE% a %LOGFILEGEPACKT% -ri1 -m5 %LOGFILE%
) ELSE IF "%ARCHIVTYP%" == "7z" (
	SET LOGFILEGEPACKT=%LOGFILEGEPACKT%.7z
	%sevenzipEXE% a -mx9 -t7z %LOGFILEGEPACKT% %LOGFILE%
) ELSE IF "%ARCHIVTYP%" == "ZIP" (
	SET LOGFILEGEPACKT=%LOGFILEGEPACKT%.zip
	%sevenzipEXE% a -mx9 -tzip %LOGFILEGEPACKT%.zip %LOGFILE%
)
REM Email versenden mit passenden Betreff
IF "%GABESFEHLER%" == "JA" %sendemailEXE% -f %MAILFROM% -t %MAILLOGTO% -u "WGET FTP-Backup - FEHLER!" -m "Fehler siehe Log-Datei im Anhang" -s %SMTPSERVER% -a %LOGFILEGEPACKT%
IF "%GABESFEHLER%" == "NEIN" %sendemailEXE% -f %MAILFROM% -t %MAILLOGTO% -u "WGET FTP-Backup - ERFOLGREICH!" -m "Details siehe Log-Datei im Anhang" -s %SMTPSERVER% -a %LOGFILEGEPACKT%
REM Aufräumen - Logfile löschen
DEL %LOGFILE%
DEL %LOGFILEGEPACKT%
</source>
<br>
<br>
--[[Benutzer:BLinz|Bernhard Linz]] ([[Benutzer Diskussion:BLinz|Diskussion]]) 01:34, 12. Mai 2012 (CEST)
----
<comments />