De-Duplication von Dateien in Backup-Archiven

Hallo

in der Vergangenheit(und bis heute) hatte ich von ungefaehr 27’000 Dateien (in Ordnerstrukturen verschachtelt, teils 5-6 Hierarchien/Unterordner). jaehrlich zwei/2 Mal einen Fullbackup gemacht und woechentlich einen/1 Incremental-Backup (mit WinRar) und diese WinRar-ARchive auf externe Speichermedien ausgelagert.

Ueber die Zeit hat sich auch die Ordnerstruktur etwas geaendert, repsektive erweitert. Ganz zu schweigen von unzaehligen Dateien deren Name ueber die vielen Jahre hinweg geaendert wurde.

Nun sollte ich langsam aber sicher einmal ueber eine, ich glaube man sagt, Postprocessing-Deduplication nachdenken…

  • das Einfachste was ich mir vorstellen kann, ist ein Linux-Stript, das Date und Time an den Datei-Namen anhaengt. Damit haette ich zwar teilweise immer noch viele Versionen von Dateien aber wenigstens keine Dupletten.

  • aber was passiert ist wenn dieses Script versehentlich mehrmals ueber die die Datein losgelassen wird?

  • Und vielleicht noch wichtiger, nicht wenige Dateinamen schon so um die 240 Zeichen lang sind. NTFS erlaubt - so viel ich weiss - maximal 256 Zeichen.

  • total 700MB / Im Jahr 2023 wurden 1300 Dateien geaendert/erstellt

  • damit verliere ich vermutlich die Moeglichkeit mit Ordner-Hierarchien zu arbeiten.

  • Diff-Toos wie WinMerge finde ich beschraenkt geeignet fuer diese Aufgabe…

Frage:
Wie wuerdet Ihr in diesem Fall vorgehen?

Vielen Dank im Voraus fuer jeden Tipp!

Ich würd’s nicht kompliziert machen und Borg Backup benutzen. Das kann Deduplizierung von Haus aus. Musst dann aber mit dem Backup von vorne anfangen.

4 „Gefällt mir“

Bin jetzt zu faul, mich in jedes deiner Szenarien reinzudenken, aber vielleicht ist das etwas für dich. Ich arbeite damit seit Jahren sehr effektiv und zu voller Zufriedenheit.

Wer es mit dem Terminal nicht so hat, benutzt borg mit Vorta und hat eine einfache und bunte Bedienmöglichkeit.

https://www.linux-community.de/ausgaben/linuxuser/2022/12/daten-sichern-mit-borgbackup-und-vorta/2/