2D planar vs 3d stacked Nand Flash

[Ambrosius]

Kann man ältere 2d Flash Speicher, die damals ja State of the Art waren, jetzt beherzt weglegen oder gibt es noch Vorteile die für 2D planare Flashbasierte SSDs sprechen? Die Unterschiede die mich da vorrangig interessieren, sind

Data Retention
Verlässlichkeit
Power efficiency

Ich weiss dass gerade 3D Nand besser mit den verschiedenen Stromsparmodi der jüngeren SSD Entwicklungen harmoniert. Welche Vorteile aber haben denn jetzt die älteren SSDs in Bezug auf die Flash Technologie?

 

[Herr Moehre]

Eventuell höhere Zyklenfestigkeit, da z.T. noch MLC im Einsatz war, statt TLC/QLC, weiterer Vorteil ist eine gewisse Schreibgeschwindigkeit bei Dauerbelastung. Besonders TLC und QLC Speicher, die einen SLC Cache haben, werden z.T. extrem langsam, wenn dieser voll ist.

Schreib mal 50 GB auf eine BX500 mit 240 GB, wenn du da eine (vielleicht) schlechte Charge erwischst, schreibst du im Schnitt mit 30 MB/s also inkl. dem "schnellen" SLC Cache, der nach 7 GB voll ist
Das kann jede 15 Jahre alte SSD besser, zudem haben die noch oft DRAM als Cache, was vor Allem bei S-ATA SSDs halt Vorteile im Betrieb bzw. bei starker Schreiblast hat.

Nachteil ist der höhere Stromverbrauch, inwieweit das z.B. in einem Desktoprechner oder älteren Laptop (also nicht die mit 2 Watt Idle Verbrauch) auf fällt, ist fraglich.

Ein weiteres Thema, was bestimmt bald noch interessanter wird ist Bit Rotting, also praktisch wenn die Sektoren (HDD) bzw. Zellen (SSD) ihre Ladung bzw. den Zustand verlieren, dann können da keine brauchbaren Daten mehr ausgelesen werden. Die Wahrscheinlichkeit und das Ausmaß sind bei TLC und QLC natürlich höher, durch mehr Zustände in einer Zelle.
Das wird besonders spannend, wenn die Daten älter werden oder die SSD als Backup/Archiv längere Zeit ausgeschaltet rumfliegt.

Erinnerst du dich an die langsamen Lesevorgänge bei "alten" Daten einer Samsung 840 EVO, PM841, PM851? Der Workaround von Samsung ist die Daten zu lesen und neu zu schreiben.
Leg diese mal ein paar Jahre in die Ecke, bestimmt kommt da viel Klumpatsch raus.

 

[Ambrosius]

Das wird besonders spannend, wenn die Daten älter werden oder die SSD als Backup/Archiv längere Zeit ausgeschaltet rumfliegt.

Das war nämlich auch mein Gedanke.

Hab mal irgendwo gelesen dass ältere MLCs in etwa so gut sind wie modernere TLCs was die Data Retention angeht.

Bei Schreibzyklen hingegen denke ich dass da immer noch MLC die Nase vorne hat, selbst wenn sie 'nur' 2D planar aufliegen. Und ich rede hier nicht von Herstellerangaben wie MTBF oder DWD, wobei letzteres schon ein guter Indikator ist. Ich meine eher die Nand Technologie selbst, mitsamt ihren Vorzügen wie auch Einschränkungen.

 

[Schwartz]

Tatsächlich ähneln sich planarer MLC und 3D TLC in Retention und Zyklenfestigkeit, das liegt daran dass mit 3D eben wieder größere Zellen möglich sind weil man mehr Raum zur Verfügung hat, was die höhere Belastung durch 3 Bits pro Zelle wieder ausgleicht. Vielleicht gibt es noch kleinere Unterschiede die von der Generation des 3D TLC abhängen, man hat ja die Layers über die Jahre stetig erhöht und die Zellen wieder etwas schrumpfen lassen weil man Reserven hatte.

Aber 2D MLC funktioniert noch wunderbar, warum den nicht verwenden? Lediglich dem Controller einer gebrauchten - oder auch nur 10 Jahre gelagerten - SSD würde ich nicht für wichtige Aufgaben vertrauen, der könnte dir irgendwann abrauchen.

 

[Herr Moehre]

Joa, das mag sein, dass ältere MLCs vergleichsweise zuverlässig sind, am Ende kommt es aber auf die Kombination an, also auch den Controller und die eingesetzte Firmware, sowie den verbauten Speicher..

Das mit den Schreibzyklen wird für die Normalsterblichen wohl eher theoretischer Natur sein oder hast du schon SSDs totgeschrieben, bzw. ist bekannt, wieviel deine SSDs überhaupt schon geschrieben haben bei deinen Anforderungen?

Ich habe bisher eine SSD kaputtgeschrieben, eine (schrottige) Crucial V4 mit 32 GB, ich habe dem Ding einfach damals knapp 40 TB an Daten aufgedrängt, als diese halbvoll war (36 TBW laut Datenblatt).

 

[Schwartz]

Der Unterschied zwischen den garantierten TBW und tatsächlicher Ausdauer der Zellen ist gravierend. Ich hatte mir mal von einem Samsung Press Release folgendes aufgeschrieben, weil sich die Hersteller extrem bedeckt halten was die tatsächlichen Limits des NAND angeht: 7.000-20.000 Schreibzyklen für Samsung 64-layer 3D TLC. Die Garantie endet bei 600 Schreibzyklen (entspricht 500 GB -> 300 TBW).

 

[Ambrosius]

Der Unterschied zwischen den garantierten TBW und tatsächlicher Ausdauer der Zellen ist gravierend. Ich hatte mir mal von einem Samsung Press Release folgendes aufgeschrieben, weil sich die Hersteller extrem bedeckt halten was die tatsächlichen Limits des NAND angeht: 7.000-20.000 Schreibzyklen für Samsung 64-layer 3D TLC. Die Garantie endet bei 600 Schreibzyklen (entspricht 500 GB -> 300 TBW).

Auf jeden Fall, sehe ich genauso..deswegen stehen für mich die Herstellerangaben hier nicht so direkt im Fokus, zumindest nicht in dem Vergleichszenario.

Joa, das mag sein, dass ältere MLCs vergleichsweise zuverlässig sind, am Ende kommt es aber auf die Kombination an, also auch den Controller und die eingesetzte Firmware, sowie den verbauten Speicher..

...weswegen ich da auch immer bei bekannten Nand-Chipherstellern bleibe. Wenn wie bei Samsung und SK Hynix auch noch der Controller oft in-House 'manufakturiert' wird - ich weiss ist kein echtes Wort - dann gibt mir das zumindest ein Gefühl dass es einen vergleichsweise holistischen Ansatz hat, auch wenn es keine Garantie dafür ist, dass der Controller nicht trotzdem über den Jordan geht. Nichts gegen Silicon Motion und Phison, aber SSD Hersteller die sich Low End Controller der beiden Manufakturen einkaufen, naja, das hat bei mir auch schonmal für Ärger gesorgt, ohne da genauer drauf einzugehen.

Lediglich dem Controller einer gebrauchten - oder auch nur 10 Jahre gelagerten - SSD würde ich nicht für wichtige Aufgaben vertrauen, der könnte dir irgendwann abrauchen

Kannst du das näher erläutern?

 

[Herr Moehre]

Ich erinnere da an Techreport, leider sind die Bilder weg

The SSD Endurance Experiment: Two freaking petabytes

techreport.com

The SSD Endurance Experiment: They're all dead

techreport.com

Bzw. Golem auf Deutsch:

Golem.de: IT-News für Profis

Golem.de: IT-News für Profis

oder Heise mit schlappen 9100 (!) TBW:

Selbst die erste ausgefallene SSD, Intels 335 mit 240 GByte, schaffte rund 700 TByte - der Hersteller garantiert 32 TByte.

SSD-Langzeittest beendet: Exitus bei 9,1 Petabyte

Am 23. Juni 2016 starteten wir einen SSD-Langzeittest, um zu ermitteln, wie lange die schnellen Flash-Laufwerke wirklich halten. Fast auf den Tag genau ein Jahr später hat sich das letzte Laufwerk verabschiedet – nach 9,1 PByte an geschriebenen Daten.

www.heise.de

Ja Pech kann man immer haben, ich glaube die größten Kinderkrankheiten sind mittlerweile ausgemerzt.
Ich hatte mir damals Ende 2011 eine ADATA S510 mit dem bitterbösen SF2281 Controller und Micron NAND geholt.. wurde nach gut 10 Jahren betriebsfähig verkauft.. auch da waren die Probleme mit dem Controller, die auf Softwarefehler zurückzuführen waren, schon Geschichte.

Bisher ist mir noch keine SSD ausgefallen, lediglich habe ich defekte SSDs erworben, weil man mir Schrott geschickt hatte oder die nicht richtig verpackt wurden.

 

[Schwartz]

Elektronik welche älter ist, ob benutzt oder unbenutzt, ist nicht identisch mit Neuware. Temperaturschwankungen verursachen Stress, bis irgendwann das Silikon spröde wird. Oder eine wärmeleitende Verbindung, die nicht mehr so gut leitet. Lötverbindungen. Rostendes Metall. Kondensatoren altern auch, sodass der Strom nicht mehr ganz so fließt wie er soll. Das kann durchaus länger gut gehen, je nach den Toleranzen. Ich will damit nicht sagen dass die Auswirkungen dramatisch sind. Nur, dass es sie gibt.

 

[cuco]

Ich habe hier auch gerade eine Samsung 970 Evo Plus (TLC 3D NAND) in einem Server, die sich via SMART jeden Tag bei mir meldet, weil sie sagt, sie habe das Ende der Lebensdauer erreicht. Ich hab' dann mal in den Log geguckt und derzeit steht sie bei 2000 TBW. Wenn man bedenkt, dass es sich hier um die billige Evo und nicht um die hochwertigere Pro-Variante handelt, dann kann ich mich da nicht über die Lebensdauer beschweren Abgesehen davon: Noch läuft sie, sie beschwert sich nur. Mal gucken, eigentlich wollte ich den ganzen Server mehr oder weniger im April oder Mai ersetzen. Vielleicht schafft sie es noch bis dann.

 

[Herr Moehre]

@cuco hast du denn zwischenzeitlich geprüft, ob die Daten auf der SSD noch lesbar und gültig sind? Gab es da schon Auffälligkeiten?

 

[cuco]

Ja, ZFS scannt das Ding für mich in regelmäßigen Abständen und prüft alle Checksummen. Bisher alles ok, also nein, keinerlei Auffälligkeiten.

//EDIT: Gerade nochmal einen Scrub gemacht, alles ok. SMART meldet inzwischen 2240 TBW.

 

[Ambrosius]

Ja, ZFS scannt das Ding für mich in regelmäßigen Abständen und prüft alle Checksummen. Bisher alles ok, also nein, keinerlei Auffälligkeiten.

//EDIT: Gerade nochmal einen Scrub gemacht, alles ok. SMART meldet inzwischen 2240 TBW.

Das find ich interessant. ZFS hat da wohl als Filesystem schon eine eingebaute Funktion, die das kann?


Laut meiner Recherche hat sich auch das folgende herauskristallisieren können. Das meiste davon basiert natürlich auf älteren Informationen als 3D NAND neu auf dem Markt kam, aber nicths desto trotz sehr aufschlussreich. Es scheint als wäre die Samsung 850 Serie die erste Generation mit 3D Nand wo der Wechsel von 2D auf 3D syetematisch erfolgte. Keine Ahung aber ob das jetzt Samsungs Erfindung war oder nicht

According to the tests of Samsung, the 850 Pro (of V NAND technology) consumes only around 0.4 watts of power when it is in idle mode. The LPDDR2 cache memory of Samsung 850 PRO consumes 30% less power when active and 93% less power when idle than the traditional DDR2 or DDR 3 cache memory in 2D NAND.

Das Mehr an Stromverbrauch ist hier also in erste Linie auf den verbauten RAM zurückzuführen. Aber auch die Zellen die aufeinander gestapelt sind (i.e. stacked), deswegen auch 3D, scheinen hier kürzere Signalwege zu benötigen was wiederum zu reduzierter Stromaufnahme führt. Hier haben sich auch verschiedene NAND Hersteller iin der Vergangenheit mit den NAND Layern überboten, was jetzt für mich auch Sinn ergibt...

Besides great space utilization (big capacity) and much lower power consumption, V-NAND is also superior to normal NAND at data processing speed. It is tested that V NAND is about twice the speed of 2D NAND. Moreover, 3D vertical NAND has 10 times the longevity of 2D planar NAND, better boost reliability, as well as higher data write performance.

Ferner: auch die Schreib- und Lesegeschwindigkeit ist teils massiv verbessert, da Zellen vertikale schneller andressiert werden können, als wenn sie planar aufliegen.


Fazit: Ich glaube die Vorzüge gegenüber planarem 2D Nand sind klar und nicht von der Hand zu weisen. Bleibt also noch die Frage zu klären, ob wenigstens die Zellqualität in älterem SLC und MLC NAND genauso gut wie die derjenigen in der jüngeren Vergangenheit. Bit Rot, Data Retention durch Vergessen der Elektronen ihre Ladung verlieren oder weil Ionen weg drifte (ich bin kein Physiker) ist letztenendes dann doch auf die Beschaffenheit der Zelle zurückzuführen. Also müsste man hier wohl noch die technologischen Innovationen in Sachen "Zellforschung" auch unter die Lupe nehmen.

 

[cuco]

Das find ich interessant. ZFS hat da wohl als Filesystem schon eine eingebaute Funktion, die das kann?

Ja, genau. ZFS hat einige Features auf Dateisystemebene, die man sonst nicht hat oder nur durch zusätzliche Software/zusätzliche Schichten lösen könnte. Dazu gehört auch, dass für alle Daten und Metadaten beim Schreiben automatisch Checksummen erstellt werden, die wiederum beim Lesen automatisch überprüft werden. So kann man jederzeit feststellen, ob alle Daten auf dem Datenträger noch "heile" sind.
Einmal im Monat macht ZFS in der gängigen Implementierungen unter Linux dann einen Scrub. Dabei werden also alle Daten gelesen und dabei alle Checksummen überprüft. Wenn dabei nichts auffällt, sind also alle Daten noch ok. Ansonsten würde es sich mit den betreffenden Dateien melden. Setzt man ZFS im RAID ein, kann ZFS die Daten in diesem Fall auch (halb-)automatisch korrigieren, also die kaputten Daten durch die heile Kopie auf einem anderen Datenträger ersetzen (oder mit mathematischen Verfahren rekonstruieren). Ansonsten sollte man halt auf sein Backup zurückgreifen.

 

[Ambrosius]

Hier zeigt sich wieso es lohnenswert ist ab und wann in andere Fileformate reinzuluken. Auch ich habe in dem Kontext mit einer Installation mittels btfrfs (das bislang weitläufigste Copy-von-Write FS) geliebäugelt, wobei ZFS im Serverspace glaub ich immer noch am weitesten verbreitet ist, damit auch wesentlich stabiler im day to day Betrieb. Allerdings weiss ich noch zu wenig über seine Implikationen. Vielleicht überwiegen die Vorteile inzwischen die Nachteile. Und im Kernel wird btrfs schon länger unterstützt. Fedora setzt ja schon standardweise auf dieses FS. Wahrscheinlich wird es dann auch je nach Distro besser oder 'weniger besser' angewandt. Ich kann darüber aber auch nur mutmaßen.

 

[cuco]

Ja, btrfs und ZFS sind sich von den Möglichkeiten und Zielen her sehr ähnlich. ZFS ist dabei aber deutlich langzeiterprobter, bug-ärmer und stabiler. Leider gibt es Schwierigkeiten mit der Lizenz, weswegen es vielen Linux-Distributionen nicht beiliegt und/oder etwas aufwändiger nachgerüstet werden muss. btrfs fällt dabei immer wieder durch sein "Daten-fressen" auf. Es ist halt deutlich weniger erprobt, hat einige Bugs und ist daher viel weniger stabil. Nutzt man nur die Standardfeatures im Alltag, mag das nie auffallen. Spätestens wenn man auf die RAID-Modi zurückgreift, wird es aber "spannend". Dafür ist die Lizenz hier aber kein Problem, weswegen es man relativ einfach mit den meisten Linux-Distributionen einsetzen kann.

Ich habe btrfs lange eingesetzt. Und es hat verdammt viele meiner Daten gefressen. Seit ich auf ZFS gewechselt habe, habe ich endlich Ruhe.

 

[Schwartz]

Auf Linux ist bcachefs auch noch erwähnenswert.. soll das können was btrfs kann, aber ohne Datenverlust.

 

[cuco]

Ouh, ja, stimmt. Hab' noch kurz daran gedacht, aber bin dann doch wieder davon abgekommen!

Zunächst könnte man an den XKCD über Standards denken, denn natürlich möchte jedes neue Dateisystem besser und universeller als alle Vorgänger sein.
Da wir aber, sobald wir über Features wie copy-on-write, RAID, Checksummen und Snapshots auf Dateisystemebene sprechen, schnell nur noch bei ZFS und btrfs als verbreitete Vertreter landen, gibt es schnell unlösbare Probleme in den beiden Vertretern, die bcachefs tatsächlich lösen könnte.

Oder konkreter: Die Lizenzproblematik von ZFS wird sich wohl nie lösen und die Instabilität von btrfs liegt wohl angeblich auch schon am Design des Dateisystems und weniger an der Implementierung - oder letztere ist völlig verkorkst, was sich auch so schnell nicht lösen lässt.

Wenn bcachefs also die Features solcher modernen Dateisysteme mit der Stabilität von ZFS und der Einfachheit bei der Lizenz wie btrfs hinbekommt, dann hat es große Chancen, mindestens eine gleichwertige (eventuell sogar eine bessere) Alternative zu ZFS und btrfs zu sein. Und alles, was man da bisher so drüber liest, klingt so, als wenn sich das auch zu bewahrheiten scheint.

Aber: So ein Dateisystem ist keine Sache, die man mal eben so entwickelt. Immerhin ist bcachefs auch schon seit 2015 in der Mache. Es bezeichnet sich als "stabil" (aber nicht feature-complete) seit 2022 und im Linux-Kernel drin ist es seit Januar 2024 (Kernel 6.7). Bisher gibt es nur einen wirklichen Entwickler des ganzen, was positiv für die Grundlagen sein kann (keine Kompromisse schon bei den Grundlagen des Dateisystems), aber natürlich negativ für die Pflege ist.

Grundsätzlich sehe ich bcachefs sehr optimistisch entgegen - offenbar gut konzipiert, (bisher) sauber umgesetzt und eben ohne die Probleme von ZFS und btrfs. Aber ich denke, ein paar Jährchen wird es noch dauern, bis ich diesem auch wichtigere Daten anvertrauen würde, bis es ausreichend erprobt ist, bis sich hoffentlich mal ein paar weitere Entwickler gefunden haben, die mit den Code pflegen und weiterentwickeln und bis auch die letzten noch sehr interessanten Features umgesetzt/stabilisiert sind (z.B. RAID5/6, Dateisystemcheck/-reparatur inkl. Scrub, Komprimierung).

So, und jetzt haben wir bald mehr über Dateisysteme als über 3D- vs 2D-NAND gesprochen