W520 Weniger RAM im W520 benutzen für Datensicherung / Backups zwecks Bit-Flip Vermeidung?

[Thinkpad-User-NRW]

Bin heute das erste mal auf das Thema: Bit-Flip aufmerksam geworden.

In den nächsten halben Jahr habe ich vor sämtliche externe USB Festplatten Backups
auf größere USB Festplatten umzukopieren.

Viele Dateien müssen zudem noch aufgeräumt bzw. sotiert werden,
deshalb brauche mindestens gut ein halbes Jahr um dies zu bewerkstelligen.

Ich habe leider nur noch meinen W520 Laptop mit 4x8 GB Arbeitsspeicher (32 GB) zur Verfügung.
Diese Speicher habe ich 4x verbaut: Samsung M471B1G73AH0-CK0

Irgendwie habe ich jetzt Angst um meine Daten,
wenn ein RAM Riegel oder zwei plötzlich Daten Fehler auf den Festplatten produzieren.
Das Gerät und der RAM sind ja schließlich schon gute 10 Jahre alt.

Wenn ich jetzt alle 3 Tage Memtest 86+ ausführen würde, wäre ich bei einer Test Zeit von gut 2-3 Stunden.

Ich überleg gerade ob es eine gute Idee wäre,
nur noch einen einzigen 4 GB RAM Riegel im W520 zu betreiben
und diesen alle 3 Tage mit Memtest 86+ zu überprüfen?
Das würde deutlich schneller gehen..

Ich brauch keine Spiele mehr zu spielen oder sonstige Arbeitsintensive Rechen Leistungen auszuführen.

Mir gehts nur noch um die Datei Sotierung und Umkopierung
von meinen alten USB Festplatten auf größere Festplatten wie bereits schon oben beschrieben.

Als BS nutze ich Win7 Pro 64bit

Könnte mir da jemand die Angst nehmen oder bezüglich zu Bit-Flips Erfahrungen in Thinkpad Geräten mitteilen?

PS: Einen hochwertigen Server mit EEC RAM und BTRFS Dateisystem
für 2000-3000 Euro kann ich mir für die Dateien Sicherung nicht leisten

 

[EN1RZ]

Ich denke die Gefahr des Bit kippen lauert weniger im Ram als wie die gesamte Kette von Platte 1 zu 2. Da ist ja einiges mehr was Fehler verursachen kann, Sata zu USB Controller Platte 1, USB Kabel (deren Stecker mit uebergangswiderstaenden), USB Controller zum W520 Chipsatz via PCIe, Chipsatz zur CPU via DMI, zum ende hin kommt noch der Speichercontroller in der CPU und letztendlich bist im RAM gelandet. Hurra, wenn da nicht schon was gekippt ist, glueckwunsch, der ganze Datenstrom muss auch wieder auf die Platte 2 landen, somit geht der ganze Weg wieder rueckwaerts mit all seinen gefahren und schwups, da hat wer am Kabel gewackelt von der Platte 2, ein kratzen im Datensignal dank uebergangswiderstand im USB Stecker wegen leichter oxidschicht auf deren kontakten, der USB zu Sata Controller merkt es nicht im schlimmsten Fall und gibt die Daten mit falscher Checksumme an die Platte 2 weiter und speichert die so ab. Keiner merkt es bis mann die Datei oeffnet und sich wundert warum die JPEG Bildaufnahme ein oder mehrere versatze im Bild hat.
Da haette ein EEC Ram und ein rendudates Filesystem keine Chance gehabt einzugreifen weil der Fehler extern aufgetreten ist.
Mann kann nach dem Kopieren noch verifizieren lassen das die Kopie dem Original entspricht, aber auch da wieder spielt die komplette kette mit und eine korrekte Kopie kann im verifi durchfallen.
Mir ist dank eines USB Kabel (wie sich spaeter herausstellte mit minderwertigen Kontakteigenschaften) ein komplettes Bilderarchiv zerstoert worden obwohl der Rechner kein Fehler gemeldet hat.

 

[hikaru]

Wenn du deine Daten mit einem Programm wie rsync kopierst, das dabei die Integrität der Daten prüft, dann sind beim Transfer unerkannte Bit-Flips sehr unwahrscheinlich.
Gegen bereits in den Ausgangsdaten vorhandene Bit-Flips hilft das natürlich nicht.

Ich vermute aber, du machst hier den zweiten Schritt vor dem ersten, denn es klingt für mich so, als hättest du keine solide Backupstrategie.
Um Fehler in den Daten sicher zu erkennen, brauchst du mindestens drei unabhängige Kopien (bzw. "Original" +2 "Kopien"). Beim Vergleich dieser drei Datenbestände würden Bit-Flips auffallen, wenn sie nicht in allen Dreien identisch sind, was wiederum nur dann wahrscheinlich ist, wenn sie vor dem Kopiervorgang entstanden sind.

 

[zaptac]

Ich stimme da zu, es gilt das alte Sprichwort "ein Backup ist kein Backup". Wenn ein einzelnes gekipptes Bit ein Problem bedeutet, dann braucht man schon einige Kopien, die mit verschiedenen Tools auf verschiedene Ziele gespielt, anschließend verifiziert und regelmäßig testweise restored werden. Zudem stellt sich die Frage, ob denn die Quelle überhaupt korrekt ist.

Ich würde an Deiner Stelle den Ball flach halten und mit rsync o.Ä. kopieren und ggf. mit --dry-run vergleichen, ob Quelle und Ziel übereinstimmen. Wichtiger ist die Anzahl der Kopien, und wo diese lagern. Es gibt genug blöde Szenarien, z.B. eine Überspannung im Netz, die gleichzeitig Quelle und Ziel tötet. Oder Dir brennt die Hütte ab, mit allen Kopien.

 

[hikaru]

Es gibt genug blöde Szenarien, z.B. eine Überspannung im Netz, die gleichzeitig Quelle und Ziel tötet.

Deshalb sollte ein Backup, außer zum Zeitpunkt des Backups, vom Netz getrennt sein.

Oder Dir brennt die Hütte ab, mit allen Kopien.

Deshalb sollte mindestens eines der Backups physisch an einem anderen Ort sein.

 

[zaptac]

Exakt.

Diese "Habe dein Zeug verschlüsselt, hier Geld einwerfen"-Masche basiert ja auch darauf, dass das Backup mitverschlüsselt wird, falls überhaupt vorhanden.

 

[zwieblum]

BlueRay ist gut als Archiv geeignet. FreeBSD + ZFS mit mindestens 2 Platten Mirror auf externem Server funktioniert auch bestens mit Consumer-Hardware ("extern" heißt nicht am Schreibtisch). Ein paar Backups verteilt auf einige Geräte ist auch eine nette Strategie. Stellt sich halt die Frage, um wieviele Daten es sich handelt und ob die archiviert werden sollen oder ob es um ein Backup von Betriebsdaten geht ...

 

[gatasa]

BlueRay ist aber nur dann eine gute Alternative, wenn man realtiv wenig Daten sichern möchte. Eine Datenbank mit Fotos ist schnell bei mehreren hundert GB.

 

[zwieblum]

Einmalig ja, aber wenn du kontuierlich deine Bilder archivierst? Eine Scheibe pro Monat?

 

[cuco]

Naja, bei BluRay ist man mit den 100GB-XL-Rohlingen ab ca. 80€ pro TB dabei, das ist natürlich teuer. 25er Spindeln der 25GB-Rohlinge gibt's aber sogar schon für 8,99€ bei Amazon, das sind nur noch 14,38€ pro TB. HDDs beginnen aktuell ab 16,33€ pro TB im Preisvergleich. Gerade bei kleinen bis mittleren Datenmengen kann eine Sicherung auf BluRay also günstiger und auch noch langlebiger sein als eine Sicherung auf HDD. Bei ein paar Hundert GB muss man natürlich schon ein paar Mal die Datenträger wechseln, aber machbar ist das. Und im Gegensatz zu einem NAS verbrauchen optische Medien in Bereitschaft keinen Strom, außerdem sind das WORM-Medien, also auch unanfällig gegen Crypto-Trojaner, denn nachträglich verschlüsselt werden können die Daten nicht. Dafür kann man die Medien aber auch nicht wiederverwenden.

Bei mittleren bis großen Datenmengen sind HDDs natürlich angenehm. Bei aktuell bis zu 20TB pro Medium und einem Sweet-Spot bei 18TB pro Medium braucht man sich nicht groß zu überlegen, welche Daten jetzt auf welche BluRay gebrannt werden und wie man die Aufteilung und Sortierung macht. Stattdessen einfach rauf mit den Daten und fertig. Ggf. mit RAID für mehr Platz sorgen und bei Bedarf das RAID erweitern.

Bei richtig großen Datenmengen kommt man dann schwer an Magnetbändern vorbei. Eine LTO-9-Kassette kostet aktuell ~140€ und speichert unkomprimiert 18TB an Daten. Das halbiert den Preis pro TB von BluRays nochmal auf ~7,79€ pro TB, beim Vorgänger LTO-8 liegen wir aktuell sogar schon bei 4,99€ pro TB. Nur die knapp 3.000€ Neupreis für das Laufwerk, die hauen natürlich ordentlich rein. Da braucht man schon ~200-250TB an Daten, bevor das anfängt sich zu rentieren.

 

[gatasa]

Einmalig ja, aber wenn du kontuierlich deine Bilder archivierst? Eine Scheibe pro Monat?

Das jetzt nicht unbedingt, aber wenn man alle 3 Monate oder spätestens nach 6 Monaten die neuen Daten mit sichern möchte, ist ein Medium wie eine HDD einfach unschlagbar. Dann noch die Daten an mindestens 3 Stellen sichern und schon ist eine Sicherung auf BluRay wieder erheblich teurer.

Auf meiner Dienststelle werden die Daten immer noch per Kassette gesichert, nur wie @cuco schon schrieb, sind die Laufwerke für den Privatgebrauch viel zu teuer.

 

[cuco]

Daten "dazupacken" ist bei einer HDD natürlich am einfachsten. Allerdings muss man auch immer daran denken: Während die HDD angeschlossen ist und die Daten kopiert werden, ist man am wenigsten geschützt. Ein Ransomware-Trojaner hat in diesem Moment vollen Zugriff auf die Originale und das Backup, aber auch ein Blitzschlag bzw. eine Überspannung im Netz oder ein Fehler am PC kann in diesem Moment Original und Backup gleichzeitig zerstören. Deshalb ja auch die 3 Kopien. Bei einem optischen Medium geht das nicht (so leicht).

Und warum wird es teurer, wenn man die Daten an mindestens 3 Stellen sichert? Der Preis pro TB ist bei BluRays aktuell unter den günstigsten HDDs, siehe oben. Das ändert sich auch dann nicht, wenn man die Daten 3x sichert. Oder habe ich das Missverstanden? Nur wenn man regelmäßig größere Datenmengen "entsorgt" und auch im Backup löscht, dann kommt der Bumerang der nur einmal beschreibbaren optischen Medien natürlich zurück, denn der Speicherplatz ist - einmal geschrieben - natürlich "tot"/weg. Auf einer HDD kann man ihn wiedernutzen.

Und was die Magnetbänder angeht: Wenn man größere Datenmengen zu sichern hat, können sich LTO-Streamer auch für privat lohnen. Denn gebraucht bekommt man sie schon deutlich günstiger. Ab ca. 3 Sicherungen von ca. 15TB Daten (also ca. 45TB Kapazität auf den Bändern) würde ich sagen kommen wir da schon an die Grenze, dass Bänder sich lohnen können. Und 15TB zu sichernde Daten bekommt der eine oder andere privat doch schon zusammen heutzutage - wenn auch vielleicht nicht die Mehrheit.

 

[gatasa]

Die Daten, die ich sichere, sind ja nicht immer die selben, sondern der Datenbestand ändert sich halt von der einen Sicherung zur nächsten. Somit ist das Beschreiben von BluRay nicht immer sinnvoll.
Gut, die eingescannten Fotos unserer Hochzeit, der Silberhochzeit und weiteren Familienfeiern (deren Sicherungen ich nach diversen Fiaskos wie: "Upps, wo sind denn die Fotos, hast Du sie nicht?" übernommen habe) oder den Reisen vor mehr als 30 Jahren brauchen nicht immer neu auf der HDD gesichert werden, müssten somit auch nicht auf einer BluRay ewig neu gesichert werden.
Aber die Fotos von den Lütten, die inzwischen auch schon zwischen 2 und 9 sind oder neuere Touren, Reisen und Feste oder Thinkpad-Treffen (wenn sie wieder möglich sind) möchte ich gerne sichern. Und da kommt halt das ein oder andere GB hinzu.
Außerdem habe ich hier jetzt ein paar DVD (Filme, selber aufgenommen oder von VHS auf DVD kopiert), die kaum 12 Jahre alt sind, deren Inhalt leider nur noch mit diversen Fehlern anzuschauen sind. Diese und alle anderen Filme werden zur Zeit auch auf HDD gesichert, auch schon weil DVD-Laufwerke immer seltener werden. Wie das auf Dauer mit BluRay-Laufwerken aussieht, weiß ich nicht.

 

[Gummiente]

Als ich von einem 2 GB RAM IBM Server mit "Chipkill", so der Name von IBM für quasi ECC+, die im Gegensatz zu ECC nicht nur ein gekipptes BIT erkennt sondern sogar zwei umstieg war mir schon etwas mulmig. Auch weil der neue Server atemberaubende 32 GB RAM hatte ganz ohne Schutz. Da sah ich in meiner Fantasie schon Solarstürme durch den Serverraum strahlen und die riesige Ansammlung von BITs kippen.

Der alte Server hatte für diejenigen mit besonderem Paranoia auch noch die Möglichkeit RAM zu spiegeln was mich glauben ließ so selten wären gekipptes BIT nicht.

Nach einigen Jahrzehnten kann ich sagen, dass die Hersteller gute Arbeit leisten und ich wegen gekippten BITs und Datenkorruption keine Sorgen mache.

Einen Schockmoment hatte ich denn doch. Als ich die Datensicherung überprüfte waren einige Dateien unterschiedlich. Mittlerweile scheint es eher ein Problem mit Samba und MS Office zu sein. Sporadisch werden die Metadaten beim Schreiben offenbar nicht aktualisiert, so dass rsync nicht erkennt, dass die Dateien sich verändert haben und gesichert werden müssen. Alle paar Monate finden sich eine handvoll von diesen Fällen.

Davon abgesehen, ich weiss nicht wie viele PBs oder sind es schon EBs ich über die Zeit herumkopiert habe. Bisher habe ich keine Datenkorruption erleben müssen die nicht managebar war. Auf Holz Klopf...

Ach ja, da wir bei RAM waren, jetzt werkeln 128 GB RAM in dem Rechner der seit Inbetriebnahme vor zwei Jahren durchläuft.

 

[Thinkpad-User-NRW]

Einen Schockmoment hatte ich denn doch. Als ich die Datensicherung überprüfte waren einige Dateien unterschiedlich. Mittlerweile scheint es eher ein Problem mit Samba und MS Office zu sein. Sporadisch werden die Metadaten beim Schreiben offenbar nicht aktualisiert, so dass rsync nicht erkennt, dass die Dateien sich verändert haben und gesichert werden müssen.

Stichpunkt: Samba

Ich habe mir gestern eine gebrauchte Synology DS214+ von Ebay Kleinanzeigen gekauft.
Dort sind 2x 4 TB SATA Festplatten als EXT4 und RAID1 eingerichtet.

Die NAS läuft unter WIndows 7 offline, da sie direkt mit meinem W520 per LAN Kabel verbunden ist.

Hab der DS214+ eine feste IP zugewiesen
und folgende Protokolle im DSM Manager aktiviert: SMB1 + SMB2 + SMB3 (Alles was geht)

Dann habe ich den Speicherpool von der NAS im Windows Explorer als Laufwerk E:\ freigeben
Jetzt kann ich mit der NAS im Prinzip so arbeiten, als hätte ich eine externe USB Festplatte angeschlossen
Nur hier bei findet die Datei Übertragung via Netzwerkschnittstelle statt.

Muss ich mir irgendwie Sorgen machen, das das SAMBA Protokoll die Dateien nicht richtig überträgt?

Ich könnte mir auch einen FTP Server auf der Disk Station (offline) einrichten um meine Dateien dort hin zu übertragen.

Wenn du deine Daten mit einem Programm wie rsync kopierst, das dabei die Integrität der Daten prüft, dann sind beim Transfer unerkannte Bit-Flips sehr unwahrscheinlich.
Gegen bereits in den Ausgangsdaten vorhandene Bit-Flips hilft das natürlich nicht.

Bei dem Total Commander habe ich folgende Optionen aktiviert:

Verify after copy (MD5 checksum)

^ Standardmäßig ist dieses ausgeschaltet - Warum eigentlich?
Ist doch eine zusätzliche Sicherheit.

Dann werden die Dateien beim kopieren zusätzlich noch mal überprüft.

Wäre das eine gute Lösung?

Bis jetzt scheint es gut zu klappen auch auf der oben genannten NAS

 

[hikaru]

Bei dem Total Commander habe ich folgende Optionen aktiviert:

Verify after copy (MD5 checksum)

^ Standardmäßig ist dieses ausgeschaltet - Warum eigentlich?
Ist doch eine zusätzliche Sicherheit.

Dann werden die Dateien beim kopieren zusätzlich noch mal überprüft.

Wäre das eine gute Lösung?

Ja. In Bezug auf Datensicherheit ist die Option sinnvoll.
Deaktiviert ist sie vermutlich deshalb, weil sie die effektive Übertragungsrate stark reduziert.

 

[elchmartin]

bzgl ECC-RAM:
such Dir doch ein gebrauchtes Server-Board (zB Supermicro), ich habe mir vor einiger Zeit eines inkl CPU (älterer Opteron) und 16GB ECC-RAM geschossen, waren irgendwas um €150.

ATX-Netz dran und ab dafür.
Hat diverse SATA-Anschlüsse, allerdings nur USB2, wenn man USB3 will sollte man also ne PCIe-Karte dranfummeln.
Per IMPI geht das ganze dann headless. Ist auch nicht allzu laut.

zB hier:

Supermicro X9SCL Server Mainboard + Xeon E3 1230v2 + 32 GB ECC RAM | eBay

Entdecken Sie Supermicro X9SCL Server Mainboard + Xeon E3 1230v2 + 32 GB ECC RAM in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

€150 sofortkauf...mit 32GB ECC-RAM!

 

[haarp]

Gegen Bitflips direkt hilft wirklich nur ECC. Alle paar Tage Memtest laufen lassen? Was soll denn das bringen? Ein Bitflip ist transient, der tritt einmal auf. Memtest merkt danach gar nichts davon. Um ECC kommt man nicht herum.

Wir könnten heutzutage alle ECC haben, wenn Intel das aus Gier nicht den Server-CPUs vorbehalten hätte. Torvalds dazu. Die Situation ist so absurd dass sich die JEDEC genötigt gefühlt hat, ECC bei DDR5 auf den Speicherriegeln selber zu implementieren. Bei AMD siehts inzwischen besser aus, da kann (fast?) jede moderne CPU ECC. Muss nur von den Boardentwicklern auch mal implementiert werden.

Neben dem Speicherinhalt kann auch bei den Festplatten durchaus mal etwas falsch geschrieben (oder später gelesen) werden. Checksummen nach dem Schreiben sind nett, aber nicht immer nützlich. Das Betriebssystem cached natürlich die Festplatten im Speicher. Es kann also vorkommen, dass man trotz nachträglichem MD5 Check eine Korruption nicht bemerkt, da der Cache ja noch das Richtige beinhaltet. Man kann versuchen vor dem Check die Caches zu droppen, aber das stinkt nach schrecklichem Workaround.

Die Lösung sind Dateisysteme mit Checksummen und Redundanz. z.B. ZFS. Hier werden alle Blöcke mit ihrer Checksum abgelegt und beim Lesen/Schreiben verglichen. Passt etwas nicht, warum auch immer, wird der Block stattdessen aus der redundanten Platte gelesen (und der kaputte Block mit diesen Daten neu geschrieben). Funktioniert natürlich nur dann 100%, wenn man dem Arbeitsspeicher vertrauen kann. -> ECC.

 

[elchmartin]

Gegen Bitflips direkt hilft wirklich nur ECC. Alle paar Tage Memtest laufen lassen? Was soll denn das bringen? Ein Bitflip ist transient, der tritt einmal auf. Memtest merkt danach gar nichts davon. Um ECC kommt man nicht herum.

Die Lösung sind Dateisysteme mit Checksummen und Redundanz. z.B. ZFS. Hier werden alle Blöcke mit ihrer Checksum abgelegt und beim Lesen/Schreiben verglichen. Passt etwas nicht, warum auch immer, wird der Block stattdessen aus der redundanten Platte gelesen (und der kaputte Block mit diesen Daten neu geschrieben). Funktioniert natürlich nur dann 100%, wenn man dem Arbeitsspeicher vertrauen kann. -> ECC.

wird wohl der Grund sein, warum NAS-Betriebssysteme ausschließlich bei Anwesenheit von EEC Ihren Dienst aufnehmen ...

 

[cuco]

Naja, den Dienst aufnehmen tun die NAS-Systeme auch alle ohne ECC. Und ich verstehe nicht so ganze, warum besonders ZFS-basierte Systeme so auf ECC pochen. Grundsätzlich ist ECC immer gut, aber ohne geht halt auch, nur nicht ganz so sicher. Dabei sollt es egal sein, welches Dateisystem eingesetzt wird.