Ist ein RAID System für externe Festplatte für große Daten gut oder sinnfrei?

Das Ablagesystem ist dann aber kein Backup.
Dann braucht er zwei Sicherungsorte.
Eins als Ablage der Daten und davon ein Backup.

Sollte er die Daten bereits auf einem System haben, kann er mit dem NAS ein Backup davon machen. Am besten automatisiert.

Ob man das NAS dann spiegelt oder nicht um einen Festplattenfehler zu über stehen, ist ja dann nur eine Frage seiner Risikobereitschaft.

Wäre gut wenn der Thread Ersteller sich mal dazu außert.

Maxmoon beschreibt ein System mit einem Rechner, an den er eine externe Plattenstation anschliessen möchte. Er schreibt extra, es solle kein NAS sein.
So wie er das System aufziehen möchte, hat er kein Backup, sondern er vertraut auf die gespiegelten Platten. Ich würde ihn zu den von mir beschriebenen 99% zuordnen.
Die Spiegelung erhöht keine Datensicherheit, sondern erhöht nur die Verfügbarkeit. Ein gespiegelter Server kann halt weiterlaufen und im Hintergrund wird die neue Platte beschrieben.

2 „Gefällt mir“

Ich kenne - auch aus der eigenen Praxis - das folgende zu externen USB Festplatten von WD: Der USB Anschluss ist auf dem Controller aufgelötet. Wenn nun der USB Anschluss beschädigt ist, dann kann man nicht die Festplatte ausbauen und in ein Festplattendock stecken, sondern muss den USB Anschluss wieder reparieren (falls das geht), Kabel auflöten (dazu gibt es Anleitungen im Netz) oder sich einen Controller kaufen und (hier kommt der Hinweis von @ilu ins Spiel) die für die Verschlüsselung relevanten Komponenten vom alten Controller löten und auf den neuen Controller auflöten.

Dem kann man vorbeugen, indem man andere externe Festplatten kauft, und zwar solche, in denen noch „echte“ Festplatten stecken, also solche, die man in Festplattendocks stecken kann, oder - um auf Nummer sicher zu gehen - sich eine Festplatte und ein Gehäuse dazu kauft.

2 „Gefällt mir“

Aber ich möchte mich nicht an eine Zeitschaltuhr ausrichten, sondern dann den externen Speicher verwenden, sobald Bedarf danach besteht, bzw. die zweite Platte zuschalten, wenn ein Backup vom Backup gemacht werden soll und dann nur ein Skript triggern, welches sich um alles kümmert.

Nicht wirklich, weil es ist ein aktiv laufendes System, welches unnötig Ressourcen verschwendet (und auch CO2e produziert).

Ich verstehe auch nicht, warum die meisten NAS „Datengräber“ sein sollen? Das wäre doch Zweckentfremdung oder nicht?

Eigentlich überhaupt nicht! Das N steht für Network und in meinen Anforderungen steht „Offline/Ausgeschaltet“. Das sind zwei Gegensätze.

Aber mich würde gerne dein Aufbau oder die Herangehensweise interessieren, wie du es lösen würdest, wenn die Anforderungen dMn eingehalten wurden.

Mich wundert es wirklich, warum die Leute ein Gerät am Laufen halten, wenn die Platten still stehen und offensichtlich nicht gebraucht wird?

In der selben Nacht als ich diesen Beitrag geschrieben habe, kam mir sie selbe Idee, weil ich es als einfacher empfand einfach 2 externe Gehäuse zu kaufen, die ich per USB3 anschließen und mit einem Skript nach Bedarf synchronisieren kann.

Mein Problem ist jedoch noch, welche Technologie soll in der Platte verbaut sein?

Soll die Platte CMR oder SMR haben?

Habe zwar einen unglaublich ausführlichen Bericht über diese Technologien gefunden, doch scheint es recht widersprüchlich, denn:

  • SMR scheint beim Kopieren von großen Daten eine immer niedrigere Schreibgeschwindigkeit zu haben, was suboptimal für meinen Fall ist, da ich nur Videorohdaten auf diesen Platten haben werde.
  • SMR ist für den Dauerbetrieb optimiert.
  • Im Fazit wird dann jedoch empfohlen SMR für Datengräber zu verwenden.
  • … einige Hersteller geben gar nicht erst an ob SMR zum Einsatz kommt.

Die Frage bleibt dann offen: „Was sind gute HDDs für diesen Fall?“

Wenn es um Zugverlässlichkeit geht, würde ich eine mechanische Festplatte einer SSD vorziehen, weil die kürzeste Lebensdauer von einer HDD bei mir ca. 10 Jahre waren und eine SSD 6 Monate hielt (eine zweite 8 Monate). Fairerweise muss ich dazu sagen, dass es damals eines der ersten Generationen von SSDs waren und diese heutzutage wegen neuen Technologien länger halten. Jedoch bezweifle ich immer noch, dass diese 10 Jahre oder mehr überleben.

Wie sieht denn deine Backuproutine aus, weil du schreibst nur „am besten mehrfach abgesichert“.

Von Raid 0 verspreche ich mir schnellere Schreib- und Lesegeschwindigkeiten. Von Raid 1 verspreche ich mir eine Sicherheit, dass meine Daten auch noch vorhanden sind, wenn mal eine Festplatte kaputt geht.

Bitte erklären!

Das möchte ich auf jeden Fall haben. Es wäre ziemlich sinnfrei, wenn ich eine Datei nicht mehr brauche, diese jedoch im Backup erhalten bleibt.

Das wird nicht passieren. Ich verwende kein Windows und ich möchte auch nicht, dass meine Platten 24/7 laufen und eine Angriffsfläche bieten. Verstehe auch immer noch nicht denn Sinn, warum so viele Leute auf einen NAS verweisen, obwohl dieser doch eher nicht sinnvoll für diese Aufgabe ist.

Wie weiter oben beim vax geschrieben, scheint es wirklich sinnvoller zwei externe Platten zu nehmen und die eine nach Bedarf zuzuschalten und dann die Platten zu synchronisieren.

Doch mir bleibt es immer noch schleierhaft, warum Leute dann einen NAS empfehlen?

Ich verstehe die Kategorisierung mit Einstieg, Fortgeschritten, etc. nicht wirklich. Wenn ich etwas kaufe, dann kaufe ich so, dass es die nächsten 10 Jahre zuverlässig funktioniert.

Wenn ich es richtig verstehe, dann ist unRAID keine Technologie, um Festplatten zu managen, sondern ein komplettes Betriebssytem für Server. Hier der Text deren Webseite:

Unraid is a powerful, easy-to-use operating system for self-hosted servers and network-attached storage.

Ich glaube nicht, dass ich das will oder brauche? Zumindest verstehe ich die Empfehlung nicht wirklich. Könntet ihr mir erklären warum das eine gute Lösung für mich wäre?

Würde ich dieses Setup für mich anwenden, würde ich es als Overkill bezeichnen, zumal der Verschleiß und der Energieverbrauch sehr hoch im Vergleich zu einem Offline Storage wären und ich eher laufende Kosten befürchte. Wie viele SSDs oder HDDs sind dir schon abgeschmiert?

Danke, weil ich hatte schon Zweifel, dass etwas mit mir nicht stimmt, da unglaublich viele einen NAS empfehlen und ich nicht dahinter steigen kann, warum ich diesen empfohlen bekomme oder für was die Leute ein 24/7 System brauchen?

Da ich das Phänomen jedoch interessant finde, habe ich die Frage ausgelagert: Für was verwendet ihr euren NAS? Was läuft da alles drauf? Und braucht ihr diesen wirklich?

Ich glaube irgendwie, dass Leute sich einfach einen NAS zugelegt haben, weil sie es können (es ist finanziell erschwinglich) und dann einfach alles über diesen machen, egal ob es nützlich ist oder nicht oder sogar Anwendungsfälle umsetzen, die sie vorher nicht gebraucht haben, jedoch wegen dem NAS umsetzen. Und da dieser fester Bestandteil von ihrem Leben ist, dies als Empfehlung für viele Anwendungsfälle gilt. Aber wie gesagt, die NAS Diskussion habe ich hier ausgelagert.

Sehr guter Punkt! Ein Raid 1 System hat vermutlich auch einen so hohen Verschleiß, dass ich mit dem Versagen einer Platte vermutlich um einiges früher rechnen kann, als wenn ich eine weitere Platte bei Bedarf zugeschalten habe.

Meinst du es wie ich es bei der Antwort zu vax geschrieben habe? Also zwei externe Gehäuse mit zwei gleichgroßen Platten und dann einfach die zweite Platte hin und wieder anwerfen und mit der ersten synchron halten?

Beim Kopieren von wichtigen Dateien verwende ich immer Checksummen, um die kopierten Daten zu prüfen und war bisher überzeugt, dass das ausreichend war. Oder meinst du einen Hardwaredefekt, der einen Bit oder Sektor flippen kann?

Lustiger Zufall dass dort auch das Gerät aufgelistet ist, welches ich im ersten Post genannt habe.

So wie ich es verstanden habe, gibt es bei JBOD einen Modus, der es erlaubt einen Haufen von Festplatten, egal welcher Größe in einem Verbund laufen zu lassen, welche jedoch einzeln ansprechbar sind.

Leidet dabei denn nicht die Geschwindigkeit, wenn ich Daten von einer auf die andere Platte kopieren möchte, weil ich denke, dass die Daten 2x durch das USB-Kabel müssen und der Kopiervorgang nicht von Platte zu Platte direkt im Verbund passiert.

SSDs fallen bei mir garantiert weg, wenn es um zuverlässige und langlebige Backups geht. Aber ich habe grade die Preise gecheckt und momentan gibt es in einem bekannten Onlineshop eine 2TB M2 von Samsung für 150,- EUR im Angebot. Doch selbst wenn SSDs günstiger werden als HDDs, würde ich nicht umsteigen wollen. Der Ärger wäre mir zu groß.

Von der Geschwindigkeit her empfinde ich meine alte Festplatte im neueren USB3-Gehäuse für ausreichend schnell (150 mb/s). Für mich ist nur wichtig, dass der PC nicht mehr die ganze Nacht läuft, um etwas zu kopieren. Aber wenn es nur 20 Minuten sind, dann wäre es kein Problem noch etwas anderes am PC zu machen und abzuwarten bis die Backups fertig sind. Und ich denke neuere HDDs sind noch schneller als 150 mb/s mit dem richtigen Gehäuse.

Bei den inkrementellen Backups muss ich auch etwas die Stirn runzeln, weil Videodaten sind schon sehr groß und wenn ich nochmal 50% mehr Speicher für das Backup brauche, ist das nicht so zielführend. Bei inkrementellen Backups werden ja nur die Deltas (Unterschiede zur Vorversion) gespeichert und der Wiederherstellungsprozess dauert recht lange.

Ich würde eine 1 zu 1 Kopie von den Daten der ersten Platte machen (rsync). Also die 8TB direkt kopieren auf eine 8TB Platte und danach nur noch mit rsync die neuen oder gelöschten Daten synchronisieren lassen. Oder bin ich grad etwas naiv solch eine Lösung zu verfolgen?

Es ist ungefähr so als hätte ich gefragt, welches Fahrrad das beste wäre, um in die nächste Ortschaft zu gelangen, weil ich da jedes Wochenende hinfahre und mir die Leute raten ein Frachtflugzeug mit einer integrierten Kaffeemaschine zu verwenden und ich den Leuten versuche zu erklären, dass das komplette Ressourcenverschwendung sei und ich gar keinen Kaffee trinken möchte.

Klar komme ich so in die nächste Ortschaft, sei es drum, dass ich den Fallschirm verwende, aber ich habe nach einem Fahrrad gefragt und nicht nach einer ressourcenvernichtenden CO2 Schleuder, die keinen Sinn ergibt.

Das ist eine knallharte Unterstellung. Ich glaube eher, dass es einige Leute gibt, die nicht das implementieren, was sie brauchen, sondern das wollen was andere haben, ohne zu hinterfragen ob sie einen Nutzen davon haben. Ich vergleiche das so wie junge Leute, die Influenzer sehen, die Produkte in die Kamera halten und diese Produkte einfach nur kaufen, weil es in die Kamera gehalten wird und nicht, weil es einen Sinn für die Leute hat, ein Problem löst oder irgendwie gebraucht wird.

Aber für die NAS Diskussion habe ich ein neues Thema angefangen. Wäre super, wenn wir hier beim „Fahrrad“ und „auf dem Boden“ bleiben könnten.

Das ist noch ein wichtiger Punkt, weil eine Verschlüsselung die Geschwindigkeit reduzieren kann und ich meine Daten sowieso verschlüssele. Eine doppelte Verschlüsselung wäre daher sinnfrei.

Aber was für eine Platte ist das genau? Habe mir letztens eine gebrauchte externe 2,5 Zoll Platte namens WD Elements geholt (für einen Raspi für das BOINC System). Was ich nicht wusste, war, dass diese wie Smartphones aufgebaut sind. Man bekommt das Gehäuse nicht auf und kommt nicht an die Festplatte. Also unterm Strich eigentlich Elektroschrott… welche externe Festplatte hast du, dass du an die Platte kommst und gibt es Anleitungen und Verzeichnisse über die Festplatten, denn ich wäre gespannt ob meine alte HDD das auch hat, denn dann würde ich das abschnippeln, neu formatieren und weiterverwenden.

Und wie man eine Festplatte repariert, um seine Daten zu retten, wenn mal so ein Controller kaputt geht, wäre auch interessant zu wissen. Aber ich glaube die meisten Leute würden ihre Festplatte wegwerfen, wenn diese einfach nicht mehr funktioniert oder nicht? Und wäre eine Reparatur aufwendig?

Ich finde, dass ich alle nötigen Informationen schon im ersten Post übersichtlich genannt habe und dich schon mehrere Leute auf meine Anforderungen im ersten Post hingewiesen haben. Sollten wirklich noch Angaben fehlen, dann nenne mir diese bitte explizit.

Ich habe die Befürchtung, dass ich so eine externe Platte besitze, sie heißt WD Elements. Da hat es keine Schrauben mehr, um an die Platte zu kommen und so wie es sich liest, scheint da drinnen auch keine Platte im klassischen Stil zu sein, die ich woanders einbauen könnte. Wenn das stimmt, dann regt es mich grad auf, dass ich quasi Elektroschrott gekauft habe und ich darüber nicht vom Hersteller informiert wurde.

Das Problem ist, dass der Anwender auch mit Basteln seine Daten nicht wiedersieht, wenn der Controller ausfällt. „Festplattenrecovery beim Dienstleister“ kannst Du vergessen, denn an die Encryption kommt der ohne den key auch nicht ran - und der liegt im kaputten Controller.
Die WD-Foren sind voll von hilflosen Kunden. Warum WD das so macht, weiß ich nicht. Die externen Festplatten an sich sind „echt“ und super und zeitweise auch sehr günstig. Nach dem Abzwacken des Beinchens habe ich nur gute Erfahrungen damit.

Ich wollte aber den oben für Raidcontroller schon angesprochenen Punkt bekräftigen, dass man nur Speichersysteme verwenden sollte, die man auch mit Standard-Hardware auslesen kann. Dass das bei den WD-Platten nicht geht, ist für den Kunden weder auf der Verpackung noch beim Setup ersichtlich.

Warum erhöht die Spiegelung keine Datensicherheit?
Sorgt immerhin gegen einen Festplattenausfall.
Das ist auch eine Sicherheit.
Klar sorgt es nicht gegen eine Löschung oder Verschlüsselung durch dritte.

Im übrigen kann eine NAS manuell angeschalten werden. Auch nicht schlechter als eine USB Platte an zu stecken.
Dazu gäbe es eine Wake on LAN Möglichkeit wenn es doch automatisiert sein soll und Zeitpassiert nicht gewünscht is.

Offline heißt für mich ohne Internet.

Aber da sieht man mal wie jeder es anders verstehen kann.

Hab im anderen Fred schon geschrieben.
Interessantes Thema.
Hier wurden ja jetzt genug Möglichkeiten genannt.

In der Regel sind die Rohdaten auf der einen Platte, die bearbeiteten auf einer anderen. Die Rohdaten werden dann in die Schublade gelegt, ist die FP mit den bearbeiten voll, wird auch diese archiviert. Die Bilder in der Vermarktung sind auf einem externen Server (Picturemaxx)…Hinzu kommen verstreute Bilddaten auf den einzelnen Rechnern…(man merkt, bin keine IT Fachkraft…)

1 „Gefällt mir“

RAID (>0) hilft NUR gegen Festplattenausfall. Nicht gegen Bedienfehler, Softwarefehler, Überspannung, Controllerausfall, Diebstahl, etc…
RAID wurde erfunden als Festplatten sehr unzuverlässig (im Vergleich zu anderen Komponenten) waren, und die Handlungsempfehlung war, immer Ersatzplatten im Vorratsschrank zu haben. Und wer macht das noch?

1 „Gefällt mir“

bisher keine einzige. Ich hatte eine HDD (die Paritäts-HDD) die knapp vor der Garantieablauf (5 Jahre) die sich mehrmals gemeldet hat dass sie bald den Geist aufgeben wird. Habe sofort gehandelt und sie direkt von WD austauschen lassen. Somit kein Datenverlust.

1 „Gefällt mir“

Ups, crey hatte das schon aufgeführt. Sorry

Hi,
nur kurz zum Thema NAS und always on… Hier ist nicht alles schwarz und weiss. Benutze mein NAS auch als „Backup“. Dieses ist so eingerichtet das es sich täglich um 4:00 abschaltet, wird aber nicht automatisch eingeschaltet. Benötige ich Zugriff darauf starte ich es per WOL vom Desktop oder Smartphone. Shutdown erfolgt dann entweder ebenfalls vom Desktop oder automatisch um 4:00 morgens. Das war für mich der beste Kompromiss zwischen Stromverbrauch und verfügbarkeit bei Bedarf.
Die Übertragungsrate einer direkt angeschlossenen Platte erreicht das natürlich bei weitem nicht, dafür habe ich aber Zugriff von allen Rechnern und smartphones darauf. Das war mit wichtig.
Lg

1 „Gefällt mir“

Das ist eigentlich ziemlich einfach zu beantworten. SMR ist teilweise unfassbar lahm beim Schreiben von Daten. Das eignet sich nur für große, kostengünstige Archive, die man einmal schreibt und dann nur noch liest. Dafür sind SMR Festplatten günstiger.

Lieber so als plötzlich festzustellen, dass man eine Datei braucht, sie aber nicht gesichert hat. Temporäre Arbeitsdateien kannst du ja gleich vom Backup ausschließen.

Die Platten in einem RAID 1 werden genauso oft beschrieben wie einzelne Platten und halb so oft gelesen. Haben unterm Strich also etwas weniger Verschleiß.

Das Backupsystem würde ich 50% größer wählen und dann ein vernünftiges Backupprogramm einsetzen wie z.B. Restic. Kann gerne auch ein verschlüsseltes Onlinebackup sein.

Daten können natürlich jederzeit bei der Übertragung als auch jederzeit danach korrumpiert werden. Letzteres ist wahrscheinlicher. Ich habe übrigens in meinem Backuprechner ECC RAM stecken, also Hauptspeicher mit Fehlerkorrektur, um auch das Risiko, dass Daten bei der Übertragung vom Hauptspeicher korrumpiert werden, zu minimieren.

Kurz gesagt hast du ein Kabel, für den Rechner sieht es aber so aus, wie wenn jedes Laufwerk separat angeschlossen wäre.

Da hast du wohl recht. Da so Festplatten aber erheblich viel langsamer sind als die Übertragung über das Kabel, dürfte das nicht viel ausmachen.

Bei Festplatten hat sich in den letzten 10 Jahren bei der Geschwindigkeit nichts entscheidendes mehr getan.

Reden wir gerade von Backups? Wurde glaube ich schon in anderen Beiträgen diskutiert, warum eine Spiegelung statt einem richtigen Backup Nachteile hat. Inkrementelles Kopieren ist jedenfalls absolut notwendig, sonst darfst du jedesmal 12 Stunden zuschauen, wie 8 TB kopiert werden.

4 „Gefällt mir“

maxmoon,
überlege dir in Ruhe, WAS die tatsächlich anstreben willst. Wenn es dir um größtmöglichen Schutz der Daten vor Verlust durch Zerstörung der Datenträger geht, ist ein NAS nicht unbedingt die erste Wahl. Auch dessen Platten können „am Stück“ ihr Leben aushauchen (Blitzschlag, Diebstahl etc.).
Sobald Du ansatzweise über ein NAS oder RAID nachdenkst bist du IMMER an dem Punkt, dass SMR-Platten nicht oder nur sehr eingeschränkt funktionieren werden. Nebst den bereits beschriebenen Nachteilen fertiger RAID-Controller.
Auch ein NAS schützt also nicht per se vor völligem Datenverlust.

Ein echtes Backup bekommst du nur mit mindestens zwei Backup-Datenträgern (besser mehr) hin, die du im Rotationsverfahren beschreibst. NIEMALS beschreibt man den Datenträger mit der aktuellsten Datensicherung zur erneuten Datensicherung!! Denn wenn während des Backups z. B. mit rsync dein Quell-Datenträger den Geist aufgibt, hast du direkt davor deine letzte vorhandene Sicherung beschädigt oder gelöscht und noch keine neue erstellt. Zugegeben, eine durchaus theoretische Möglichkeit, aber im RZ-Betrieb ein eiserner Grundsatz.

Sinnvoll wäre in deinem Fall 2-3 externe Platten, die du in Rotation benutzt. Und wenn du die Möglichkeit der Auslagerung der Platten hast, bist du auch recht gut gegen den „Supergau“ geschützt. Ginge natürlich nur manuell. Aber eben auch mit allen Optionen wie Verschlüsselung etc.

Aber auch hier beachten: Große Platten sind auf Grund der hohen Datendichte auf dem Platter anfälliger für das Kippen von Bits (sog. Bitrost). Dem kannst du fast nur durch häufige Backup-Dichte auf mehreren Datenträger oder mittels Dateisystem ZFS entgegenwirken, wobei letzteres dann in den Bereich der Enterprise-NAS (z. B. TrueNAS) fällt.

1 „Gefällt mir“

Steht, wie schon mehrmals erwähnt, im ersten Post. Und auch diesmal habe ich nochmal meinen ersten Post überprüft, weil bei den Aussagen mancher Menschen hier Zweifel kamen ob dieser nicht gelöscht oder von Admins editiert wurde. Scheint aber nichts verändert worden zu sein.

Nochmal in anderen Worten was ich vor habe und was meine Bedenken sind:

Ich habe sehr viele Rohdaten/Videodaten in die ich sehr viel Arbeit gesteckt habe. Würde die Platte mit diesen Daten kaputt gehen, noch bevor ich Youtube Videos daraus erstellt habe, würde die ganze Arbeit verpuffen, wodurch ein persönlich großer Verlust entsteht. Dies möchte ich vermeiden, indem ich all meine Videodaten redundant halte und mir ein RAID System in dem Sinn kam, doch da es sich um eine alte Technologie handelt, evtl. etwas besseres auf dem Markt gibt, daher frage ich hier in die Runde.

Ebenfalls im aller ersten Post schließe ich NAS direkt aus und auch wenn es eine Anforderung ist KEINEN NAS zu haben, suggeriert eine große Anzahl von Menschen mir sich einen NAS anzuschaffen. So etwas scheint wirklich ein Phänomen der Neuzeit zu sein.

Ich überspringe mal alle Punkte vom NAS, weil das eigentlich schon von Anfang an ausgeschlossen wurde und weiter darauf einzugehen wohl kontraproduktiv ist. Aber ich habe einen neuen Thread über NASs gestartet, wo wir drüber reden können was alles drauf läuft, etc.

Den größtmöglichen Schutz habe ich auch im ersten Post ausgeschlossen, weil ich, wie gesagt, Sachen wie Hausbrand und Diebstahl nicht abdecken möchte und es zum Overkill werden würde, wenn ich noch anfangen würde mir ein Bankschließfach zu holen, um dort eine Kopie meiner Daten zu lagern oder ähnlichem, um dem 3-2-1-Backup-Prinzip gerecht zu werden.

Interessanter Punkt! Doch würde es in meinem Fall nicht einfach bedeuten, dass nur eine einzige Videodatei in diesem höchst unwahrscheinlichen Szenario korrupt/kaputt wäre?

Für Rechenzentren verstehe ich die redundante Datenhaltung, denn bei denen geht es auch um viel Geld und jeder unwahrscheinliche Fall wird teure Folgen haben, aber im privaten Bereich solche Methoden?

Für solch einen höchst unwahrscheinlichen Fall eine dritte Platte zu kaufen, wäre in meinen Augen auch ein Overkill.

Mein aktueller Plan wäre es zwei externe Festplatten mit selber Größe zu kaufen (je 8TB). Auf Platte 1 lagere ich alle Rohdaten aus (das ist keine Kopie und auf dem PC wird davon nichts sein) und wenn ich ein Video schneide, verschiebe ich spezifische Daten von Platte 1 auf meinen PC, schneide alles, lösche ungebrauchte Szenen/Daten und verschiebe das fertige Projekt wieder auf Platte 1. Auf dem PC halte ich keinerlei dieser großen Daten (ausgenommen jeweiliges Projekt an dem ich gerade arbeite).

Platte 1 lasse ich mit rsync auf Platte 2 unregelmäßig nach Bedarf synchronisieren. So würden auch die unnötigen Szenen/Daten, die ich gelöscht habe, von Platte 2 gelöscht werden, da ich weiß, dass ich diese nicht brauche.

Dieses Setup fühlt sich zumindest für mich sicher genug an, falls eine Platte mit den Videodaten kaputt gehen sollte.

Ich denke auch nicht, dass ich Daten durch Anwendungsfehler auf beiden Platten verlieren könnte, da ich ja ein Skript benutze, welches die Daten synchronisiert (mit rsync) und ich keineswegs rm -rf $platte1/$quelldaten oder ähnliches verwende :smiley:

Habe ich mit dem 2 Platten System oben dem Bitrost nicht schon entgegengewirkt? Obwohl… wenn rsync eine Datei sieht, bei der ein Bit gekippt ist, wird es die Datei wohl als neu/geändert sehen, da es die Checksummen überprüft und diese auf Platte 2 synchronisieren wird, also die gute Datei mit der korrupten überschreiben wird. Ist die Theorie so weit richtig?

Ich bin überhaupt kein Fan von ZFS, butterFS oder ähnlichen Dateisystemen, die mit Snapshots arbeiten. mMn ist der Verschleiß um einiges höher gegenüber „normalen“ Dateisystemen, da es zu viel mehr Lese- und Schreibzugriffen kommt und um Schutz vor Bitrost bei sich oft änderten Daten zu gewährleisten, müssten auch noch sehr frequentiert Snapshots angelegt werden. Bei großen Videodaten wäre zwar der Vorteil da, dass ich nur selten Snapshots brauche, weil es sich selten ändernde Daten sind, doch werden so auch große Daten gehalten, die ich eigentlich schon gelöscht habe, was unnötig Speicherplatz einnimmt.

Um dem Problem mit dem Speicherplatz Herr zu werden, scheint es mir, dass man das nur schafft, wenn man sehr sehr alte Snapshots löscht, bzw. verifiziert, dass alle Daten noch die selben sind (evtl. MD5Hash Tabelle auf einem USB-Stick halten) und dann alle alten Snapshots löschen und die 2 neusten lassen.

Aber das ist bisher nur eine Theorie.

Es geht Dir um die verlustsichere Speicherung von Videodateien, aber Du willst kein zfs oder btrfs - dann verstehe ich nicht, was Du eigentlich willst. Der Hauptfeind von großen Datenmengen - insbesondere bei Videos und Bildern - sind bit flips. Dagegen kannst Du nur mit zfs angehen (und möglicherweise mit btrfs, aber damit kenne ich mich nicht aus). Mit snapshots und mit Verschleiß hat das überhaupt nichts zu tun, sondern mit der Art, wie zfs die Dateien liest und schreibt (Stichwort copy-on-write, checksums). Das Problem von rsync auf ext4 hast Du ja schon selbst erkannt.

Für zfs brauchst Du ein NAS und für ein ausfallsicheres Festplattensetup (z2 oder 3) auch und genau deshalb war „NAS“ auch die häufigste Antwort. Aber da Du die einzige Lösung für Dein Problem von vornherein ausschließt …

(Nix gegen btrfs - keine Ahnung - aber das braucht auch ein NAS.)

Edit: „evtl. MD5Hash Tabelle auf einem USB-Stick halten“ :person_facepalming:

1 „Gefällt mir“

Das geht auch mit DAS. Wie kommst du zu der Aussage?

1 „Gefällt mir“

Vermutlich, weil ich nicht weiß was „DAS“ ist. Kenne die Abkürzung nicht.

Ich würde auf „Direct Attached Storage“ tippen.
Also das Gegenstück zum „Network Attached Storage“

Und was ist der Unterschied ausser dem Anschluss?
Ernstgemeinte Frage.
Was kann das eine was das andere nicht kann?

Also klar kann man auch eine andere Schnittstelle nutzen und die zfs Funktionen auf dem Arbeitsrechner laufen lassen, setzt aber voraus, dass auf dem Arbeitsrechner ein geeignetes OS läuft (BSD, Linux würde ich persönlich mangels offizieller Kernelunterstützung nicht nehmen) - was bei den meisten Leuten nicht der Fall ist. Deshalb üblicherweise NAS. Und darunter verstehe ich ein externes System im Netzwerk mit CPU, RAM und OS, falls das unklar sein sollte.
Der Kern meines Posts war aber ein anderer: Das, was Maxmoon will, braucht ein Dateisystem mit Funktionen wie zfs sie hat. Und am besten z2 oder mehr. Ext4 mit oder ohne RAID oder ein MS-Dateisystem können das nicht.

Korrektur: Joachim sagt, reFS von MS kann copy-on-write.

1 „Gefällt mir“

ReFS kann copy-on-write, NTFS und ReFS können Snapshots, deren Anzahl und Lebensdauer begrenzt ist. In jedem Fall hat man damit für Backups die gleichen Voraussetzungen für Konsistenz wie mit zfs oder btrfs.

Was mich zum anderen relevanten Punkt bringt:

rsync gewährleistet keine Konsistenz wenn sich das Dateisystem während dem Lauf ändert. Dafür braucht es Snapshots oder man muss sicherstellen dass sich das Dateisystem nicht ändert.

1 „Gefällt mir“