Ist ein RAID System für externe Festplatte für große Daten gut oder sinnfrei?

Hardware
1

Ich bin auf der Suche nach einem sicheren System, um große Daten (Rohmaterial von Kamera, hauptsächlich lange Videos) darauf sicher zu lagern und möchte euch um Rat bitten.

Der Zugriff erfolgt nur selten (~1x/Woche, es soll kein NAS sein), um neue Daten von der Kamera auf die Platte zu schieben, von der Platte Rohmaterial auf den PC zu kopieren, um es zu bearbeiten und dann um das fertige Projekt wieder auf die Platte zu schieben.

Es soll nicht Teil eines produktiven Systems sein (kein daily driver), sondern wirklich nur zum Auslagern der Daten dienen und es selten zum Einsatz kommt, wo die Daten auch vor einem Plattenschaden sicher sind.

Welche Festplatten werden dafür empfohlen mit welcher Technologie (SMR, CMR)?

Anforderungen:

  • Sicher vor Datenverlust (nur Festplattenschaden. Diebstahl und Hausbrand muss nicht abgedeckt sein)
  • Genug Speicherplatz (4-8TB)
  • Nicht zu langsam. Kopieren sollte nicht ein Über-Nacht-Task sein.
  • Offline/Ausgeschaltet lagern

Idee:

RAID 1+0 mit 4 Festplatten mit je 4TB (also je 2 im RAID 0 und das alles gespiegelt im RAID 1), also einen verfügbaren Speicherplatz von 8 TB (mit Spiegelung 16TB).

Vielen Dank für eure Hilfe.

EDIT:

Ich weiß noch nicht welche Festplatten dafür geeignet sind, doch ein Laufwerksgehäuse, welches RAID 1+0 unterstützt, habe ich schon mal gefunden.

2

Dein System benötigt einen RAID Controller, sei es ein RAID Controller in Hardware mit proprietärer Firmware oder ein Software RAID wie es z.B. Linux anbietet. Wenn du kein NAS haben willst, sondern ein RAID mit USB Anschluss (also eine externe Festplatte mit RAID), dann wird auf dem RAID Controller eine proprietäre Firmware laufen.

Das ganze funktioniert soweit gut, wie der RAID Controller funktioniert. Wenn dieser aber in sagen wir mal 3 Jahren die Grätsche macht und du kein Ersatzteil bekommst, dann wirst du nicht mehr auf deine Daten zugreifen können, oder musst Spezialisten beauftragen, die das können und nicht billig sind.

Anders verhält es sich, wenn du ein NAS mit Linux und Software RAID hast. Wenn die Hardware die Grätsche macht, dann kannst du das NAS mit Software RAID wieder auf einer anderen Hardware aufsetzen und auf die Daten zugreifen.

Diese Problematik gibt es seit es RAID gibt. In den alten SCSI Zeiten gab es die Probleme auch, mit nur einem Unterschied: Das war Profi Hardware und man bekam noch lange kompatible Ersatzteile. Ich behaupte mal, dass du für das von dir verlinkte RAID System in ein paar Jahren keine Ersatzteile bekommst. Das lässt sich für den Preis nicht machen.

1 „Gefällt mir“
3

Du hast mit „Sicher vor … nur Festplattenschaden“ Deine Anforderungen so gewählt, dass RAID die naheliegende wenn nicht einzige Lösung ist. Warum fragst Du dann noch? Bist Du sicher, dass Schutz vor anderen Datenverlusten - und an erster Stelle Bedienfehler - nicht wichtiger wären?

1 „Gefällt mir“
4

Ok, daran hab ich wirklich nicht gedacht. Sehr guter Punkt.

Einen NAS wollte ich eigentlich vermeiden, weil ich es mit dem Dauerbetrieb (oder Heimserver/Netzlaufwerk) verbinde, wo man sich zig Projekte aussucht, die noch drauf laufen könnten, die man eigentlich nicht braucht, was ich vermeiden möchte. Ich möchte wirklich nur eine Art sicheres Datengrab und dachte eher, dass es dem NAS sogar schadet, wenn ich diesen ständig ein und ausschalte… aber evtl. unbegründet. Doch was nicht unbegründet ist, ist der Ressourcenverbrauch. Ein NAS frisst unglaublich viel und wenn mechanische Platten ständig laufen müssen, weil es ständig wegen etwas Zugriffe hat, ist der Verschleiß auch recht hoch. Zumindest glaube ich, dass meine externen Festplatten schon über 10 Jahre (ohne Fehler) leben, weil ich diese sehr selten an habe und schon gar nicht im Dauerbetrieb.

Kannst du Hardware empfehlen, um solch einen Linux-RAID-NAS zu bauen, weil wenn ich nach Anleitungen suche, finde ich oft nur sehr große Projekte, die dann eher wie ein eigener Desktop-PC aussehen. Ich dachte da eher an etwas kleineres mit einem Raspi Pico oder ähnlichem… Und die Bauten scheinen nur übers Netzwerk zu funktionieren und nicht USB.

Aber unterm Strich hört sich das nach einem sehr spaßigen Projekt mit headless Linux an.

Ich frage, weil mein Wissensstand über Datenverwaltung schon veraltet sein könnte und es bessere Lösungen geben könnte.

Und ich bin an einem Punkt, wo ich es als großen Verlust verzeichnen würde, wenn ich meine Aufnahmen verlieren würde. Bei Daten, die wiederbeschafft werden können, hatte ich nie ein Problem und habe auch noch nie ein RAID-System bei externen Platten verwendet.

Jetzt muss auf jeden Fall eine bessere Lösung her.

Bedienfehler gibt es bei mir so gut wie gar nicht. Ich habe ein Skript geschrieben, welches die externe Festplatte mountet und das ausgewählte Projekt mit rsync sicher (also mit Checksum) kopiert.

Ich muss wirklich nur abgesichert sein, dass wenn eine Platte einen Hardwarefehler hat, ich keine Daten verliere und einfach nur eine neue Ersatzplatte reinschieben muss, damit alles wieder läuft.

5

Ich will dir nur kurz die Bedenken zur NAS nehmen.
Ein NAS kann programmiert werden wann es an und aus sein soll.
Die meisten NAS System sind nur Datengräber.
Ob du dann mehr damit machen möchtest liegt ja alleine bei dir.

Den Festplatten verrichten ihren Dienst auch wenn sie jeden Tag ein mal aus und wieder eingeschaltet werden.
Passiert ja bei vielen Desktop PCs auch seit 30 Jahren.

Daher würde ich mir einfach eine 4 Bay NAS besorgen.

Wenn du noch nicht viel Erfahrung hast, evtl. einen der großen Anbieter für NAS Systeme wählen.

Hab auch klein angefangen.

6

Ein NAS im Sinne der Abkürzung ist bei diesen Anforderungen genau das richtige Gerät.
Das der Begriff durch geschicktes Marketing mittlerweile eher als „Allzweck-Server“ gelesen wird ändert daran nicht.
Zur Auswahl des Gerätes hat @media-floppy die relevanten Hinweise schon gegeben.

Ein modernes NAS mit modernen HDD ist zwar always on, fährt die HDD aber herunter und zieht kaum Strom wenn es nicht genutzt wird.

Der Vorteil hierbei ist, dass man nicht erst beim wöchentlichen Vorgang überrascht feststellt, das das Kistchen mit der HDD -warum auch immer- nicht mehr anläuft/reagiert/lesbar-/schreibbar ist/usw.

7

Wenn dein Zugriff so selten ist, kannst du auch komplett auf auf ein RAID oder NAS verzichten und das ganze per Hand machen:
Kauf dir mehrere gute HDDs und ein externes USB Wechselgehäuse und spiegele die Platten entsprechend. Ist kein großer Aufwand, du hast die komplette Kontrolle, weißt immer genau was auf deinen Platten ist und du bist in keinster Weise abhängig von irgendeinem RAID System oder Software.

8

Für meine Fotos (mache das als Profi) - habe ich alles auf Festplatte, am besten mehrfach abgesichert, funktioniert seit über 15 Jahren gut, bisher HDD externe Festplatten genutzt, bin jetzt auf SSD umgestiegen, hoffe die halten.

9

Die Frage sollte sein, was Du Dir von RAID versprichst. Ein RAID erhöht die Verfügbarkeit und verkürzt Ausfallzeiten. Das ist für Firmen natürlich sehr interessant, wenn 50 Kollegen auf das Einspielen des Backups warten. Als Privatmensch, dessen Datengrab nicht einmal permanent laufen soll, sehe ich keinen Sinn in RAID.
GANZ WICHTIG! Ein RAID ersetzt kein Backup. Eine gelöschte Datei ist auch auf der gespiegelten Platte gelöscht. Ein Virus, der dir die Platten verschlüsselt, verschlüsselt die gespiegelte Platte gleich mit. Daher ist die Frage von Joachim eine sehr sinnvolle Frage.
Ich würde für meinen Teil die eine Hälfte der Platten als Datengrab einrichten, die andere Hälfte würde ich als Backupplatten einrichten. Damit fährst du deutlich sicherer.
Ich persönlich würde mir so etwas als NAS einrichten. Da reicht ein Raspi 4 oder 5 oder ein N100. Ich bin ein Freund von OpenMediaVault, damit kann man solche Dinge wunderbar betreiben. Von den gekauften NAS’sen halte ich persönlich nicht so viel.

3 „Gefällt mir“
10

Die gekauften sind als Einstieg schon in Ordnung.
Ich selbst würde mittlerweile auch selber bauen und Unraid benutzen.
Da kann man die Platten einfach am nächsten Desktop anschließen und benutzen falls nötig.

11

Mit unRAID wärst du gut beraten. Habe seit viele Jahre selbst eins (24/7/365) am laufen - 4 WD Red (1Parity + 3 Daten) und 2 SSD Cache = 3 SSD je 1TB (1x Single + 1x RAID1). HDDs laufen nur dann wenn Daten gelesen oder geschrieben werden …also alles was die Caches nicht enthalten oder umgangen werden. Einmal Wöchentlich läuft noch ein Parity Check.

1 „Gefällt mir“
12

Ich bin ehrlich gesagt leicht entsetzt über manche Ratschläge hier.

  1. Laut Beschreibung werden ausschließlich Mediendateien zwischen Kamera, PC und Speicherlösung verschoben. Ein NAS wäre also unnötig, DAS (Direct Attached Storage) am PC würde vollkommen ausreichen.

  2. Die erhöhte Verfügbarkeit eines RAIDs ist bei „Der Zugriff erfolgt nur selten (~1x/Woche)“ vollkommen nutzlos. In der Zeit hat man sich bei Defekt auch ein neues Laufwerk besorgt und die Daten vom Backup wieder eingespielt.

  3. Es wurde schon gesagt, aber die meisten Antworten haben vollkommen ignoriert, dass ein RAID keinesfalls die Anforderung „sicher vor Datenverlust“ erfüllt. Ein Backupsystem ist unbedingt erforderlich. Falls das Geld knapp ist, lieber auf Archiv- und Backuplaufwerke verteilen als fast die gleiche Summe für ein einzelnes RAID auszugeben.

  4. Laufwerkspiegelung ist kein Backup. Je nach Verfahren kann man den Stand der Dateien bis höchstens 1-3 Monate wiederherstellen. Ich hatte schon Fälle, in denen mir erst nach 1-2 Jahren aufgefallen ist, dass ein Teil einer JPEG Datei korrupt war. Konnte ich dann problemlos aus meinem Backup wiederherstellen. Und bei noch sehr viel größeren Videodateien ist die Wahrscheinlichkeit sehr viel höher, dass irgendwann mal ein Bit oder sogar ein ganzer Sektor flippt.

Hinweise zu möglichen Lösungen:

  • Ich habe so ein externes Gehäuse mit mehreren Festplatten am PC hängen: https://geizhals.de/?cat=gehhd&xf=339_3.5"~5155_JBOD . USB 3.1 Gen 2 (10 Gbps) ist mehr als ausreichend als Anschluss für Festplatten, die ja relativ langsam sind. Achten sollte man auf den JBOD Modus, damit der Rechner jede Platte einzeln verwalten kann. Das erlaubt auch ein Soft RAID, falls man trotzdem ein RAID haben will. (Ich persönlich betreibe das als RAID, weil bei mir täglich große Backups geschrieben werden und das macht keine Festplatte lange mit.) Großer Nachteil dieser Lösung sind Lautstärke und Geschwindigkeit.

  • Eine ähnliche Lösung kann man sich auch mit SSD basteln: https://geizhals.de/?cat=gehhd&xf=696_M2PCIE . Schneller und leiser geht nicht, kostet dann natürlich auch deutlich mehr. Leider sind die Preise für SSDs seit letztem Sommer um 30% gestiegen. Außerdem sind 4 TB SSDs meisten teurer pro GB als 2 TB SSDs. 8 TB SSDs gibt es noch kaum und sind sehr teuer.

  • Natürlich kann man auch gleich fertige externe SSDs oder Festplatten kaufen, aber preislich hat man oft keinen bis nur einen geringen Vorteil und bei externen Festplatten sind auch oft keine Standardanschlüsse vorhanden, die den Wechsel einer externen Platte erlauben würde.

  • Wer mehrere Rechner hat oder den Krempel nicht im Zimmer stehen haben will, kann natürlich gerne für extra Geld zu einem NAS greifen. Am besten dann mit mindestens 1 Gbps Ethernet für schnellen und zuverlässigen Zugriff. Gleiches gilt für RAID - schaden kann es nicht, wer das Geld dafür übrig hat.

  • Mehrere große Videodateien umkopieren, kann bei einer Festplatte schon ein bisschen dauern. Evtl. würde ich für das Archivsystem wegen der Geschwindigkeit SSD nehmen und dann für die Backups Festplatte. Das Backupsystem sollte mind. 50% größer dimensioniert sein als das Archiv, damit man möglichst viele inkrementelle Backups darauf unterbringen kann.

6 „Gefällt mir“
13

Versteht nicht ganz das Problem.
Man kann doch auf dem NAS auch ein Backup laufen lassen?
Ist hakt dann alles an einem Ort.
Versionierung kann man ja dann nach gut Dünken einstellen.
Ob dieses dann noch gespiegelt wird oder nicht ist ja jeden selbstüberlassen.

Meiner Erfahrung nach bleiben die Leute halt nicht beim reinen Datengrab.
Früher oder später starten die wünsche für mehr Funktionen.
Da schadet ein NAS nicht.

In jeden Fall gabs nun genügend Tipps und das Eigangsproblem zu bewältigen.

14

Ich bin mir nicht sicher, ob ich verstehe, was du meinst. Backups müssen immer auf einem getrennten System liegen. Sonst geht die NAS Hardware kaputt und du kommst weder an die Originaldaten auf dem NAS noch an das Backup ran.

15

Ein Problem ist, dass etwa 99% der Fertig-NAS Nutzer denken, dass sie mit gespiegelten Platten alles erforderliche für die Datensicherheit gemacht haben. Die wenigsten denken darüber nach, was sie von einem RAID erwarten und wie sie eine vernünftige Backupstrategie umsetzen.

3 „Gefällt mir“
16

Ich möchte noch anmerken, dass handelsüblche externe USB3-Platten (WD!) mit einem Controllerchip betrieben werden, der die Platte verschlüsselt, so dass sie ohne den Controller nicht ausgelesen werden kann. Der Controller geht gern mal kaputt. Man kann die Verschlüsselung deaktivieren … indem man dem richtigen Chip ein Beinchen abschnippelt!

Wozu soll man es den Leuten auch einfach machen. Ich mach das, aber mag nicht jeder.

1 „Gefällt mir“
17

Der Thread Hersteller möchte seine Daten sichern? Hat einen PC und will nun noch eine Sicherung oder irre ich mich?

Dies kann er auf einem NAS.
Er kann sogar seine Daten Synchron auf dem NAS und den PC halten und gleichzeitig ein Versioniertes Backup der Daten anlegen.

Klar würde ich das Backup nach der 3-2-1 Methode anlegen aber er könnte alles auf nur einer NAS betreiben.

Alles eine Frage des persönlichen Sicherheitsbedürfniss.

Wenn die Daten auf dem PC und als versioniertes Backup auf dem NAS liegt hat er schon eine Sicherheit der Daten.

Mit einem gespiegelten NAS hätte er die Daten schon auf 3 Festplatten, in 2 Geräten.

Ist doch besser als nichts.

Oder versteht ich was falsch?

18

Ja, du irrst dich. Lies den Eingangsbeitrag gründlich durch.

1 „Gefällt mir“
19

Er sucht ein Ablagesystem für Kameradaten und Ergebnisse deren Bearbeitung, gute Transferraten, Nutzung etwa wöchentlich, sonst „offline“.

1 „Gefällt mir“
20

da Platte und Controller im gleichen (inneren) Gehäuse verlötet sind, ist das doch allenfalls für Bastler relevant, die selbst den Controller tauschen wollen oder für eine Festplattenrecovery beim Dienstleister, die so richtig ins Geld geht. Oder wo ist mein Denkfehler?
Und es könnte sein, dass der Controller das auch deswegen machen soll, damit die Daten eine höhere Entropie haben und daher für die Magnetisierung eine bessere statistische Verteilung haben?