Daten absichtlich verlangsamt kopieren / sichern

Question

Hallo,

Auf unserem schon etwas altersschwachen Fileserver mit (Win2003 Server als BS) liegen jede Menge Fotos meiner Frau auf 2 nachträglich eingebauten Festplatten. Diese sind jetzt beide voll (da meine Frau sehr sehr viel mit sehr sehr hoher Auflösung fotografiert).

Die belegten Platten sind 500 GB und 1 TB groß. Die Stückzahlen der Bilder gehen in die hunderttausende.

Ich habe eine externe 5 Tb Festplatte besorgt und will die Bilder jetzt alle auf diese kopieren.
Wenn ich das auf einen Rutsch versuche, dann geht der Server irgendwann in die Knie (vermutlich überhitzen die HDDs) - das weiss ich noch von der letzten Datensicherung.
Da es hunderte von Ordnern mit zig Unterordnern gibt kann ich das auch nicht ordnerweise machen.

Jetzt suche ich eine Möglichkeit, die Daten so zu kopieren, dass es entweder langsamer läuft, oder immer wieder Pausen gibt um die Hardware nicht zu überfordern.
Vielleicht gäbe es auch die Möglichkeit, nach Anfangsbuchstaben der Dateien oÄ zu filtern?

Habt ihr mir dazu Tipps?

Danke und Gruss, Mikoop

Answer 1

Wieso sollte es nicht Ordnerweise funktionieren, nur weil es hunderte sind???
Eventuell vorher ein paar löschen, denn wenn es "nur" 250.000 Bilder sein sollten und Deine Frau jedes Bild 10 Sekunden betrachtet, dann hast Du 28 Tage Deine Ruhe vor ihr, das aber auch nur, wenn sie durchgehend ohne Pause betrachtet, sonst wird es noch länger.
Hat man überhaupt noch einen Überblick darüber oder ist das ganze in den Suchtbereich einzustufen?????

Answer 2

Der Kommandozeilenbefehl ROBOCOPY hat eine Option

/IPG:n :: Abstand zwischen Paketen (ms), um bei langsamen
Verbindungen Bandbreite freizugeben.

Vielleicht hilft das ein wenig.

Gruß Flupo

Answer 3

Hallo nochmal,

Danke für eure Antworten.
Generell enthält das Foto-Archiv fast nur geschäftliche Bilder. Meine Frau ist Floristin und fotografiert unter anderem Aufträge (zB Hochzeiten, Dekorationen etc) sowie Locations.
Im Laufe der Jahre ist da viel zusammen gekommen, und da die Kameras immer besser wurden, wurden die Auflösungen höher und die Dateien damit größer.

Ordnerweise kopieren geht nicht, wenn ich das manuell Ordner für Ordner machen will - alleine der Ordner 'Floristik' auf einer der HDDs enthält 2.114 Ordner und Unterordner mit 153.418 Dateien. Das beschäftigt mich zu lange und ich komme durcheinander.

Aber gerade wg. der Ordnerstruktur kann sie auch alle Fotos schnell wiederfinden -logisch aufgebaut ist das irgendwie schon...

@Flupo
Danke für den Tipp mit robocopy, das geht schon in die richtige Richtung. Allerdings habe ich recht viel Respekt vor diesem Tool, mit einem falsch gewählten Parameter kann man auch eine Katastrophe anrichten. Ich würdre das dann erst mal mit unwichtigeren Dateien ausprobieren.

Gruss, Mikoop

Answer 4

wenn es auch ein 3rd Party Tool sein kann, dann zum Beispiel: FastCopy
Da gibt es die Option die Kopiergeschwindigkeit zu begrenzen

Answer 5

was ich bei einem ähnlichen Problem gemacht hatte:

Ich hatte die Daten über Filezilla mit FTP kopiert. Dort kann man eine maximale Datenrate einstellen.


noch etwas:
wenn du die Datensicherung regelmäßig mit robocopy auf die selbe HDD machst, dann kopiert er nur die geänderten bzw neuen. Das geht dann rasend schnell.

Gruß Steffen

Answer 6

Hallo Mikoop,

es gibt auch eine einfache Windows Methode, um den Datentransfer deutlich zu verlangsamen und die Festplatten weniger zu belasten. Dafür müsste im Fileserver einfach der DMA Modus der Festplatten über den Gerätemanager deaktiviert werden. Hier ist eine Übersicht Link, wo man die Einstellung findet und wie man sie umstellt. In diesem Fall einfach den DMA Modus deaktivieren oder den PIO Modus auswählen.

Es kann aber auch der umgedrehte Fall vorliegen und die Festplatten laufen bereits im langsamen Pio Modus. Dann würde wahrscheinlich eine Überlastung des Prozessors vorliegen. In diesem Fall wäre dann die Aktivierung des DMA Modus eine Lösung, um den Prozessor zu umgehen.

DMA aktiviert = Entlastung von Prozessor, Datentransfer über RAM, sehr schnell.
DMA deaktiviert = Datentransfer über Prozessor, langsam.

Gruß Micha

Answer 7

Noch ein anderer Denkansatz:
Wenn du den Kopiervorgang per Batch, der rekursiv durch die
Verzeichnisse geht, ausführst, lässt sich da an beliebigen Stellen ein

TIMEOUT /T 10 /NOBREAK

einbauen.

Passende Batch-Beispiele sollten sich da finden lassen.

Gruß Flupo

Answer 8

Hallo,

ist es nicht besser die "Altersschwäche" zu untersuchen?

Bei Temberaturprobleme empfehle erst mal das Gehäuse aufzumachen und prüfen wie die Lüftung zu verbessern ist.

HDDs können auch mal falsch eingebaut sein, z.B. direkt übereinander ohne Luft dazwischen.

Wie sieht die Kühlung der CPU aus?
Eventuell total verstaubt?

Und Status der Gehäuselüfter?
Lässt sich da noch was nachrüsten?

Wartung kann Wunder wirken ;))

mfg Ralf

Answer 9

Hier anderes Problem... bei neuen uns schnellen Platten.
beim Schieben über das Netz sind die Platte so schnell, daß die Netzwerk- Verbindung zu 100% belastet ist und somit Andere Mitarbeiter ausbremst.
Anwendung: Winbackup auf Netzwerk- Laufwerk soll gebremst werden auf max 50% Datenrate ;-)

Answer 10

Hallo Anonym,

stellst du deine neue Frage bitte auch als neue Frage hier im Forum ein. Sie hier hinten dran zu hängen bringt die Leute nur durcheinander und lässt nachfolgende Leser deine Frage schlechter finden.

Gruß Fabian