Fileserver Raid Beratung

[cubei]

Hallo,
ich haben einen Fileserver der am Fernseher angeschlossen ist und damit gleichzeitig mein Mediacenter ist. Ich habe mir vorgenommen nächstes Jahr ein schönes Gehäuse zu kaufen und würde dann auch gleich ein neues Mainboard mit aktueller CPU Generation einbauen (für das alte System werde ich in der Familie Verwendung finden).
Bei dem Upgrade möchte ich dann die aktuelle Konfiguration überdenken, wofür ich mir eure Beratung wünsche.

Aktuelles System:
Asrock Z68 Pro3 Gen3 mit Intel i3-2120 und 2x4 GB RAM
Samsung 830 256GB für Windows Server 2012 R2 (Als Student habe ich die Lizenz kostenlos bekommen)
5x WD Red 3 TB in RAID5 über Intel Rapid Storage (SATA Controller vom Intel Chipsatz), entspricht 12 TB an Nutzdaten

Neues Wunsch-System: (nach kurzer Recherche)
Asrock Z170 Extreme4 oder Asus Z170-A mit Intel i3-6100.

Eigentlich bin ich mit dem RAID5 zufrieden aber es gibt dazu einige Sachen die man liest, die aussagen, dass es so nicht optimal ist.
1. SW RAID soll schlecht sein. Lieber einen ordentlichen RAID Controller besorgen.
Cache ist durch eine Batterie vor Stromausfällen geschützt und Berechnungen werden dann in HW durchgeführt.
Aber bei mir darf die CPU ruhig ein bisschen mehr machen (langweilt sich sowieso die meiste Zeit) und gegen Stromausfälle würde ich eher eine USV/UPS nutzen. Denn so eine RAID Karte kostet ja auch gerne mehrere hundert Euro und das ist mir einfach zu viel, wenn das Mainboard das schon von Haus aus kann womit ich eigentlich auch recht zufrieden bin. Ich hatte auch schon einen Ausfall und der Rebuild hat wunderbar funktioniert. Auch die Erweiterung von 4 auf 5 HDDs war kein Problem.
2. RAID5 ist nicht sicher. Denn beim Rebuild müssen alle Daten durchgeschaut werden und die Chance ist groß, dass bei so einer Datenmenge ein Lesefehler auftritt.
Im Netz hört es sich so an, als wäre dann alles verloren, ich vermute eher, dass bei einem 1-Bit Fehler maximal eine Datei beschädigt ist.
Als Alternative wird dann RAID10 genannt, dies bedeutet aber, dass ich von 5 auf 8 HDDs aufstocken müsste um meine Kapazität zu halten. Das sind auch knapp 400 €, für (im Normalfall) keinen zusätzlichen Nutzen. RAID6 hört sich eigentlich gut an, weil ich nur eine HDD mehr brauche, aber das unterstützt der integrierte SATA Controller nicht.

Punkt 1 würde ich eigentlich ignorieren, es sei denn da habt ihr ganz gute Argumente.
Punkt 2 würde ich mir überlegen, wenn ihr auch der Meinung seid das RAID5 nicht mehr sinnvoll ist.
Dazu kommt aber, dass alle "normalen" Intel Chipsets immer nur 6 SATA Ports haben, wie bekomme ich denn 8 HDDs + SSD angebunden?
Bei den genannten Mainboards ist neben den 6 SATA3 Ports noch ein m.2 Steckplatz wo ich eine tolle NVMe SSD reinstecken könnte und dazu gibt es auch noch 2 SATA Express Ports, wodurch es genau hinkommt (SATAe Port geht nutzt zwei der normalen SATA Ports). Aber die SATAe Schnittstelle ist (so wie ich es verstanden habe) über PCIe angebunden, ist es dann überhaupt möglich die dort angeschlossenen Geräte in den RAID vom SATA Controller einzubeziehen? Kann ich sonst einen SATA Port Multiplier nutzen?

tl;dr: Ist es sinnvoll RAID5 über Intel Rapid Storage zu betreiben?

 

[Chuck]

1. Hardware RAID: Du bist (evtl.) im Eimer wenn deine Hardware-Raid-Karte in die Brüche geht (selbst mal vor vielen Jahren erlebt), weil der Nachfolger/eine Alternative die Container nicht mehr öffnen kann. Viele aktuelle, teils hochpreisige (Enterprise) NAS setzen auf reines Software-Raid (stabil, erprobt, leichter zu aktualisieren, etc.); auch Windows mit seinen Storage-Spaces ist eine exzellente Implementierung (können also mittlerweile viele).

2. RAID-5 ist verwundbar, wenn ein Recovery einer Platte stattfindet und in dem Moment eine zweite ausfällt, da hilft dann auch nicht unbedingt eine HotSpare, also ggf. Raid-6 (fahren wir auf den NAS, doppelt verteilte Parität), ggf. mit einer Hot-Spare. Die Performance leidet etwas drunter, was bei heutigen Fileservern nur selten problematisch ist. HDDs fallen nunmal gerne in Gruppen aus (selber zigfach erlebt).

Ich würde Raid entweder über eine Appliance (Synology, QNAP) oder via Windows (Storage Spaces) bzw. Linux betreiben. Ich bevorzuge den Appliance-Weg.

 

[cubei]

Ich würde Raid entweder über eine Appliance (Synology, QNAP) oder via Windows (Storage Spaces) bzw. Linux betreiben. Ich bevorzuge den Appliance-Weg.

Es soll schon weiterhin ein Windows System sein mit Remote Desktop usw. Ich habe jetzt gelesen, dass die Storage Spaces auch zwei gleichzeitig ausgefallene Festplatten verkraften können, was schon mal gut klingt.
Bei Intel Rapidstorage fand ich aber gut, dass es betriebssystemunabhängig ist, so könnte ich schnell Linux vom USB Stick booten und an meine Daten kommen. Und wie kommen die Storage Spaces mit Betriebssystemneuinstallationen zurecht (überleben die das) und können fehlerhafte Festplatten genau so gut detektiert werden wie vom SATA Controller direkt?
Was ich auch noch vergessen habe zu erwähnen: Der RAID hat bei mir eine große Partition, welche mittels TrueCrypt verschlüsselt ist (würde dann ein Nachfolger/Fork von TrueCrypt beim Neuaufsetzen werden). Ich denke das kann auch auch alles mit Windows lösen (Bitlocker?), aber dann binde ich mich so sehr an Microsoft...

 

[Chuck]

Ich habe privat einen Shuttle Barebone mit m.2 SSD und 2x WD Red à 2TB daheim. Darauf habe ich Windows StorageSpaces mit Bitlocker und Raid-1, das läuft ohne Probleme. Die m.2 ist bei einem Bios-Update verstorben (installiert war Win 8.0), habe eine neue bekommen, Win 8.1 damals installiert, Container wurden sofort erkannt.

Win10 Upgrade auf dem Ding steht noch an.

Super Performance (> 100MB/Sek. beim kopieren von .ISOs von der SSD auf das verschlüsselte Raid-1).

Das Monitoring müsste man sich wohl selber zusammenfummeln , was ich bis dato nie gemacht habe: Google "monitor storage spaces health"

 

[cubei]

Storage Spaces hört sich echt interessant an (egal wie man die Laufwerke anschließt und auch die Größe ist egal). Was ich noch nicht verstanden habe, ist wie ich die Kapazität berechnen kann? Für Double Parity brauche ich wohl 7 Disks. Das wären bei mir dann 7x3TB. RAID6 würde mir dann 5x3TB = 15 TB an Nutzdaten geben. Berechnet sich hier die Kapazität genau so? Wie genau die Dateien verteilt werden ist mir da jetzt ein bisschen schleierhaft.
Intel Rapid Storage hat unter Windows eine schöne GUI, die alle Laufwerke angezeigt hat. Dabei stand auch die Seriennummer und an welchem SATA Port sie hängt. Dadurch war es leicht eine fehlerhafte Festplatte auszuwechseln. Gibt mir Windows auch diese Möglichkeit? Ich muss ja irgendwie wissen welche HDD ich aus dem Gehäuse nehmen muss.

 

[Chuck]

Storage Spaces hört sich echt interessant an (egal wie man die Laufwerke anschließt und auch die Größe ist egal). Was ich noch nicht verstanden habe, ist wie ich die Kapazität berechnen kann? Für Double Parity brauche ich wohl 7 Disks. Das wären bei mir dann 7x3TB. RAID6 würde mir dann 5x3TB = 15 TB an Nutzdaten geben. Berechnet sich hier die Kapazität genau so? Wie genau die Dateien verteilt werden ist mir da jetzt ein bisschen schleierhaft.
Intel Rapid Storage hat unter Windows eine schöne GUI, die alle Laufwerke angezeigt hat. Dabei stand auch die Seriennummer und an welchem SATA Port sie hängt. Dadurch war es leicht eine fehlerhafte Festplatte auszuwechseln. Gibt mir Windows auch diese Möglichkeit? Ich muss ja irgendwie wissen welche HDD ich aus dem Gehäuse nehmen muss.

Die Seriennummer der failed HDD ist auf den ersten Blick ersichtlich, ob der SATA Port einsehbar ist, weiß ich nicht (im Zweifelsfall vorher markieren).

Zum Thema Platz & wie viele HDDs brauche ich, siehe: http://www.raid-calculator.com/

 

[cubei]

Zum Thema Platz & wie viele HDDs brauche ich, siehe: http://www.raid-calculator.com/

Aber man kann die Storage Spaces mit Double Parity doch nicht 1:1 als RAID6 übersetzen, denn dort kann ich ja auch verschiedene Größen bei den Festplatten haben.

 

[Chuck]

Aber man kann die Storage Spaces mit Double Parity doch nicht 1:1 als RAID6 übersetzen, denn dort kann ich ja auch verschiedene Größen bei den Festplatten haben.

Das ist richtig, ich pers. ziehe das üblicherweise nicht in Betracht. Sowohl in der Firma, als auch privat habe ich immer:

- identische HDDs für einen Raid-Container
- mind. zwei identische HDDs als Ersatz
- gerne allerdings in unterschiedlichen Zeiträumen hergestellt (einfach bei unterschiedlichen Händlern kaufen)

 

[cubei]

Ist jetzt ein klein wenig Offtopic, aber irgendwo muss ich mein Leid klagen:

Ich habe mir schon mal 4 WD Red 3 TB Festplatten gekauft. Ja alle gleichzeitig beim selben Händler, aber war ein guter Preis und ich konnte nicht widerstehen. Ich habe auch noch eine PCIe Karte mit 2 SATA Ports gekauft um dann insgesamt auf 8 zu kommen und schon mal SATA Kabel. Heute ist alles geliefert wurden. Mit dem neuen System wollte ich noch warten.

Was ich noch verschwiegen habe ist, dass mein RAID beim Schreiben immer langsamer wurde und durch die Auslastung während des Schreibens kaum noch zu gebrauchen ist. Das ist auch mit ein Grund warum ich alles neu machen wollte, weil es anfangs definitiv super war vom Speed und ich einfach noch mal von vorne anfangen wollte und dann auch die Chance habe jede Platte einzeln zu testen. Ich habe jetzt also genug Festplatten um alle meine Daten zu sichern und gleichzeitig mit 7 HDDs Double Parity Aufzubauen (später wenn ich das neue System habe). Backup wollte ich schon jetzt machen, weil mir das mit dem lahmen Schreiben nicht ganz geheuer war.
Als ich gerade herunterfahren wollte um die neue PCIe Karte auszuprobieren und um gleich 2 neue Festplatten für ein Backup ranzuhängen, blinkt eine Warnung von Intel Rapid Storage auf: Eine Festplatte ist ausgefallen

Geiles Timing, hätte zwar noch das Backup abwarten können, aber die Festplatte hat noch 19 Tage Garantie und ich habe ja genug Ersatz gerade geliefert bekommen. Also neue rein und Rebuild. Nach ca. 5 Minuten ist leider auch diese Festplatte als ausgefallen markiert inch: ist der SATA Port defekt? Keine Ahnung jetzt sichere ich alle Daten bevor es weiter geht. Mal sehen ob das bis morgen fertig ist und hoffentlich ohne weitere Probleme.
Frech finde ich, dass nach dem zweiten Fail die erste fehlerhafte Platte aus der Liste verschwunden ist und auch nicht mehr für den RAID akzeptiert wird (außer als neuer Hot-Swap), sodass, falls es nur vom Port kam, ich trotzdem nicht um ein Rebuild rumkomme.
Wobei ein Smart Event eigentlich nur von der Festplatte selbst kommen kann oder?

 

[fishmac]

Hast Du noch ein anderes NAS um die Platten vor dem Einsenden zu testen?
Ist die Firmware auf dem Controller die neuste?

 

[cubei]

Hast Du noch ein anderes NAS um die Platten vor dem Einsenden zu testen?

Nein leider habe ich neben dem Server nichts anderes außer einen USB Dock. Aber die neue PCIe Karte ist ein eigenständiger SATA Controller und damit werde ich es mal testen, nach dem die Backups durch sind. (So wie es aussieht in 2 Tagen )

Ist die Firmware auf dem Controller die neuste?

Welchen Controller meinst du?
Auf dem letzten Bild steht was von Intel Rapid Storage Technology - Option ROM - 10.8.0.1303
Aber ich habe Intel Rapid Storage Technology 14.5.0.1081 installiert (Screenshot vom Vorpost) und das dürfte relativ neu sein.
Oder meinst du die Festplatte? Da steht bei Firmware (siehe Screenshot) 80.00A80, haben die anderen auch, bis auf eine die später kam, dort ist es 82.00A82, aber ich wüsste jetzt nicht wie und wo man ein Update her bekommt.


Edit:
Frustkauf. Alle Teile sind nun bestellt, sodass ich am Wochenende das neue System aufbaue (wenn bis dahin alle meine Daten kopiert wurden ). Dann habe ich auch noch mal die Möglichkeit alle Festplatten (bis auf die mit Backup) vorher einzeln zu testen.
Nur mit einer m.2 NVMe Karte warte ich noch, solange nutze ich die alte SSD weiter, was dann heißt, dass ich vorerst keinen SATA Port for die 8. HDD (Hot-Swap) übrig habe.

- - - Beitrag zusammengeführt - - -

Backup ist durch und ich konnte die zwei "ausgefallenen" Platten am neues PCIe SATA Controller testen.
Übrigens, während HD Tune Pro nur logische Laufwerke, also den RAID als gesamtes, anschauen kann, kann CrystalDiskInfo auch die SMART Werte jeder einzelnen RAID Platte auslesen. Hätte ich früher wissen sollen.
Bei allen Festplatten sind die SMART Werte als "ok" gekennzeichnet (und kompletter Error Scan der ersten Platte war grün). Jetzt habe ich das Vertrauen in Intels Rapid Storage Technology verloren ^^ Vermutlich hätte ich die Festplatte nur als normal markieren müssen und alles wäre weiter gelaufen, wobei die grottige Schreibperformance schon auffällig war.

Ich hatte schon mal so einen Ausfall und habe dem Telefonsupport erklärt, dass ich keine Möglichkeit habe die HDD einzeln zu testen. Der meinte, dass die Intel Meldung genug aussagt und ich sie einfach einschicken soll. Über den Support kann ich nicht klagen, 3 Jahre Garantie hat man auf die Reds und der Garantiefall ging unkompliziert, aber nun frage ich mich natürlich, ob die Festplatte überhaupt einen Schaden hatte.

 

[cubei]

Ich bin nun ein bisschen unglücklich, weil die Schreibperformance auch beim Storage Space so schlecht ist.
Double Parity:

Dann habe ich gelesen, dass man den Write Cache ausschalten kann.

Dadurch verdoppelt sich die Schreibleistung in etwa. Und ich habe gesehen, dass man von APC schon ziemlich billig USVs bekommt um dann auch mit guten gewissen ohne Write Cache zu laufen.

Andererseits habe ich auch die Möglichkeit Mirror statt Parity zu nutzen. Dadurch habe ich weniger Speicherplatz (sollte von der Menge aber noch hinhauen) und nur noch die Ausfallsicherheit gegen eine Festplatte. Aber gute Performance:


Der Vollständigkeit halber noch ein Striping :


Alles mit 7x WD Red 3 TB unter Windows Server 2012 R2 Storage Spaces (Manche zum testen aber nur mit kleiner Kapazität).


Welcher der folgenden Szenarien würdet ihr nehmen.
A) Mirror und dafür noch eine 8. Festplatte hinzutun.
B1) Double Parity ohne Write Cache
B2) Double Parity ohne Write Cache und eine USV vor schalten.
Wie ist das eigentlich generell beim Stromausfall? Verliert man da Daten? Doch maximal die Daten die gerade mitten im Schreibvorgang sind. Schaufelt so ein Betriebssystem im Leerlauf mal Daten um oder heißt es eigentlich, dass es ziemlich unkritisch ist weil nichts bewegt wird?

Übrigens mein Storage Space hat eine Kapazität von 19,1 TB (7 x 2,73 TB).

Layout	Maximale Größe	Notiz
Mirror (single)	9,54 TB	Genau die Hälfte
Parity (single)	16,4 TB	Eine HDD fehlt
Parity (double)	10,9 TB	3 HDDs fehlen ???

Bei Raid6 dürften eigentlich nur 2 HDDs an Kapazität fehlen und nicht 3. Damit ist der Speichervorteil von der Microsoft Implementierung gegenüber Mirror (Raid10) gar nicht mehr so groß.

---

Und zuletzt noch ein bisschen Offtopic:
Wie blöd ist Asus eigentlich, dass sie die SATA Ports so dicht an einander legen, dass die darin steckenden Kabel so zusammen liegen, dass sie sich gegenseitig den Clip zum Verriegeln aufdrücken?


Und falls jemand an dem Aussehen vom Computer interessiert ist (Sorry, Handy macht schlechte Fotos):

Das schwarz-gelbe Kabel das quer hoch geht benötigt noch eine Verlängerung damit ich es hinten rum legen kann.
Für die Festplatten habe ich leider kein ordentliches Kabelmanagement gefunden. Die Kabel sollen auch so locker sein, dass ich die Festplatten vorne soweit rausziehen kann, dass ich die Seriennummer ablesen kann, ohne hinten die Kabel entfernen zu müssen.

Das Gehäuse ist übrigens ein Fractal Design R4.

 

[cuco]

Vermutlich willst du das nicht hören aber Software RAID ist unter Linux zum Teil einfacher und stabiler, ebenso schluckt es nicht plötzlich den Speicher einer dritten HDD und ist auch sehr performant. Aber vor allen Dingen hat man bei Problemen wie defekten HDDs mehr Diagnosemöglichkeiten.

 

[der_ingo]

Dann habe ich gelesen, dass man den Write Cache ausschalten kann.
Anhang anzeigen 115098
Dadurch verdoppelt sich die Schreibleistung in etwa. Und ich habe gesehen, dass man von APC schon ziemlich billig USVs bekommt um dann auch mit guten gewissen ohne Write Cache zu laufen.

Du hast da was falsch verstanden. Du schaltest nicht etwa den Write Cache aus. Im Gegenteil - du nutzt ihn nur richtig und aktivierst damit verzögertes Schreiben. Das System wartet also nicht mehr, bis der Controller die Platten mit Daten versorgt hat, sondern meldet sofort ein "Fertig" zurück. Damit werden mehr Daten länger im Cache gehalten.

Ansonsten hätte ich mich beim Mainboard definitiv anders entschieden. Ein System, welches als Server läuft, sollte auch möglichst wenig Strom verbrauchen. Ein "Extreme" Gamer Board mit wasweißichnichtalles an Ausstattung ist da normalerweise eher etwas stromhungriger als ein weniger gut ausgestattetes Mainboard. Schau aber auf jedem Fall, dass du im UEFI alles abschaltest, was nicht gebraucht wird. Sound, eventuelle Zusatzchips, unnötige Anschlüsse. Alles nur Kleinkrams, aber in der Masse spart man vielleicht noch ein zwei Watt.

Ansonsten würde ich ernsthaft überlegen, da doch noch einen richtigen RAID Controller zu verwenden. Selbst falls der mal kaputt geht (was die Dinger extrem selten tun), kann ein Modell vom selben Hersteller das RAID normalerweise weiter nutzen. Ich hab hier in zwei Systemen IBM ServeRAID M5015 bzw. M5014 laufen. Das sind umgelabelte LSI Controller und da kann ich problemlos die Controller zwischen den Servern wechseln, wenns sein muss.
Die Controller betreiben auf zwei Kanälen bis zu acht Geräte und finden sich relativ günstig in der Bucht.



Das wäre dann der Fileserver mit 5x 3 TB WD Red im RAID5. Ist dann schon eine etwas andere Schreibperformance... ;-) Mit sieben Platten sollte noch etwas Dampf möglich sein, allerdings sind dann vermutlich auch die Grenzen der Controller erreicht.

RAID6 oder Storage Space mit Double Parity halte ich für den Heimgebrauch für übertrieben. Professionell mag das anders aussehen. Aber RAID ist kein Backup und es entbindet damit auch nicht von der Notwendigkeit zum Backup. RAID soll die Ausfallsicherheit erhöhen. Die muss aber im privaten Umfeld normalerweise nicht so extrem hoch sein wie im Enterprise. Damit ist RAID5 einfacher.

Denk auch dran, dass sich Storage Spaces immer nur in bestimmten Sprüngen erweitern lassen. Später eine achte Platte einfach so hinzuzufügen ist nicht in jeder Konfiguration einfach so möglich. Das geht bei RAID5 hingegen immer.

Hingegen sehe ich nicht, warum Software RAID unter Linux irgendwie Vorteile haben sollte. Einfacher und stabiler würde ja bedeuten, dass andere Lösungen kompliziert und instabil wären. Gut, okay, die Lösung über Intel RST mag wackelig sein, davon würde ich auch mittlerweile eher die Finger lassen. Aber sonst? Diagnosemöglichkeiten gibts auch bei Windows oder RAID Controllern genügend.

 

[cubei]

Danke für den ausführlichen Text

Ein "Extreme" Gamer Board mit wasweißichnichtalles an Ausstattung ist da normalerweise eher etwas stromhungriger als ein weniger gut ausgestattetes Mainboard.

Naja, das ist ein ganz normales Asus Mainboard. Die Gaming Boards sind als "Maximum" oder "Pro Gaming" gelabelt. Und die "Sabertooth" Reihe war mir zu teuer. Jetzt kommen deine Einwände aber zu spät

Die Controller betreiben auf zwei Kanälen bis zu acht Geräte und finden sich relativ günstig in der Bucht.

Das heißt ich brauche noch zwei Port Multiplier? Warum kosten so ein 1:5 SATA3 Multiplier nochmal fast so viel wie der ganze RAID Controller? Was hast du da im Gebrauch?
Bei den genannten RAID Controllern steht Windows Server 2012 R2 nicht bei den Unterstützten Betriebssystemen drin. Da die 2012er Version ohne R2 aufgelistet wird, denke ich aber das es kein Problem wäre.

Damit ist RAID5 einfacher

Der Grund warum ich von RAID5 weg will, ist dass man im Internet so Gruselgeschichten liest.
Es heißt dass bei einer größeren Datenmenge, wie sie in meinem RAID vorhanden ist, die Chance für einen Lesefehler fast 100% betrifft und da beim Rebuild alle Daten durchgefräst werden, ist das ziemlich ungünstig.

Deswegen wollte ich eins weiter gehen und mit RAID6 auch dagegen robust sein. Wenn ich das richtig lese unterstützen die Controller M5015 und M5014 dies aber nur mit einem Zusatzmodul (Lizenzschlüssel), welches nochmals ordentlich was kosten kann

Für ~150 € kann ich mir so eine RAID Karte kaufen, aber wenn dann noch 2x 100 € SATA3 Multiplier dazu kommen, dann kann ich mir für das Geld auch noch ein paar Festplatten kaufen und ein Mirror nutzen. Wobei da doch das selbe Problem besteht oder?

---

Edit
Ich glaube mir fehlte da noch ein fundamentales Wissen was SAS Anschlüsse angeht. Dieser mini SAS Anschluss entspricht 4 Ports. Man braucht einfach ein break-out Kabel für ein paar Euro.
Das ändert natürlich alles

Also wenn man weiter liest, dann ist auch RAID6 nicht das Wahre. Es gibt wohl nicht das Allheilmittel, außer RAID unabhängige Backups bereit halten, was bei großen Datenmengen natürlich nervt.

Ich würde mir dann jetzt bei ebay ein ServeRAID M5015 kaufen und dann kann ich dort zwei 1:4 SAS auf SATA Kabel kaufen und betreibe dort 7 oder 8 der Festplatten in RAID5 (oder vielleicht RAID50, hört sich zumindest auch interessant an )
Aber diesmal warte ich noch statt unüberlegt schnell zu kaufen, um euch die Chance zu geben mich auf etwas hinzuweisen, damit ich mir später nicht wieder anhören muss dass ich nicht optimal eingekauft habe

 

[cuco]

Ansonsten würde ich ernsthaft überlegen, da doch noch einen richtigen RAID Controller zu verwenden. Selbst falls der mal kaputt geht (was die Dinger extrem selten tun), kann ein Modell vom selben Hersteller das RAID normalerweise weiter nutzen. Ich hab hier in zwei Systemen IBM ServeRAID M5015 bzw. M5014 laufen. Das sind umgelabelte LSI Controller und da kann ich problemlos die Controller zwischen den Servern wechseln, wenns sein muss.
Die Controller betreiben auf zwei Kanälen bis zu acht Geräte und finden sich relativ günstig in der Bucht.

Ich bin zwar ein Fan von Software-RAID, aber ehrlich gesagt nur unter nicht-Windows-Systemen, unter Windows sind Hardwarecontroller manchmal deutlich einfacher zu handhaben. Die genannten Controller sind da keine schlechte Wahl.

RAID6 oder Storage Space mit Double Parity halte ich für den Heimgebrauch für übertrieben. Professionell mag das anders aussehen. Aber RAID ist kein Backup und es entbindet damit auch nicht von der Notwendigkeit zum Backup. RAID soll die Ausfallsicherheit erhöhen. Die muss aber im privaten Umfeld normalerweise nicht so extrem hoch sein wie im Enterprise. Damit ist RAID5 einfacher.

Ich sehe das nicht so... Erstens steigt bei heutigen Datenmengen und der gleichbleibenden Fehlerrate heutzutage die Chance, dass man beim Rebuild mind. einen Silent-Bit-Error bekommt und damit ggf. mind. eine Datei beim Rebuild eines vollen Arrays kaputtgeht. Vielleicht merkt man es nicht, weil die Datei das verkraftet oder man genau die Datei nie anschaut. Vielleicht war das RAID doch nicht voll und es ist im freien Speicher passiert. Vielleicht zerstört es aber auch gerade DIE eine wichtige Datei. Das Problem hat man im RAID6 weniger, besser noch ein Dateisystem mit Checksummen einsetzen (ReFS unter Windows, BTRFS unter Linux, ZFS unter Solaris oder BSD).
Nächstes Problem ist, dass gerade beim Rebuild die Platten mal wieder starker längerfristiger Last ausgesetzt werden, was sonst im Privatgebrauch selten vorkommt. Genau dann gehen gerne die nächsten HDDs kaputt. Dazu kommt noch, dass man als Privatmensch in der Regel alle HDDs zur gleichen Zeit kauft und meist zu exakt den gleichen Modellen greift und beim gleichen Händler aus der gleichen Charge greift. Die sind dann alle exakt gleich benutzt im RAID und nicht selten sterben die dann auch zu sehr ähnlichen Zeitpunkten. Selbst schon mehrfach erlebt. Gibt bei acht Platten die erste auf, stirbt beim Rebuild schon die zweite und nach dem Auswechseln von beiden und dem Bangen, ob beim Rebuild nicht noch eine dritte aussteigt, klappt es erstmal wieder. Aufatmen, bis drei Wochen später Nummer drei aussteigt und beim Rebuild Nummer vier schon miese SMART-Werte liefert. Beim RAID5 wäre hier längst Feierabend gewesen - und die meisten Privatmenschen haben von ihrem NAS mit RAID nur noch notdürftige Backups der allerwichtigsten Daten, aber nicht mehr von allem. Da ist dann das Geschrei groß

Und "RAID ist kein Backup" wollen die meisten leider nicht so recht hören und denken: Bis erstmal drei Platten (zur "Zerstörung" eines RAID6) in meinem NAS in kurzer Zeit (bzw. gleichzeitig) ausfallen, muss viel passieren. Dass das deutlich häufiger vorkommt, als man denkt, wollen die dann nicht sehen

Denk auch dran, dass sich Storage Spaces immer nur in bestimmten Sprüngen erweitern lassen. Später eine achte Platte einfach so hinzuzufügen ist nicht in jeder Konfiguration einfach so möglich. Das geht bei RAID5 hingegen immer.

Das geht bei ZFS übrigens auch nicht - ok, tut hier wenig zur Sache. Dafür aber auch bei Software-RAID6 unter Linux oder auch in der RAID6-Implementierung in BTRFS

Hingegen sehe ich nicht, warum Software RAID unter Linux irgendwie Vorteile haben sollte. Einfacher und stabiler würde ja bedeuten, dass andere Lösungen kompliziert und instabil wären. Gut, okay, die Lösung über Intel RST mag wackelig sein, davon würde ich auch mittlerweile eher die Finger lassen. Aber sonst? Diagnosemöglichkeiten gibts auch bei Windows oder RAID Controllern genügend.

Ja, ich hatte jetzt speziell auf den Intel RST angespielt, was etwas wackelig angeht und eben auch auf dessen Performance (das sieht man ja oben, dass die nicht so top ist). Der Windows-integrierten Lösung traue ich da mehr zu. Aber die kann eben auch nur RAID0, 1 und 5. Kein 6. Und aus oben dargelegten Gründen nutze ich für sowas nur noch RAID6. Hab da schon zu viel Sch***e erlebt

Aber auch andere Vorteile, die ich unter Linux sehe:
- mal eben kurz den Superblock einer HDD im RAID checken und backuppen
- RAID6 in Software möglich (kein noch teurerer HW-Controller oder sowas wie Storage-Spaces nötig)
- RAID "hard assemblen" (force/assume-clean), um auch noch Daten von einem RAID zu bekommen, bei dem übergangsweise mal mehr als 2 Platten rausgeflogen sind, z.B. durch Defekt des SATA/SAS-Controllers, Firmware, Stromausfall oder sonstigem, was die Eventcounter auf den HDDs unterschiedlich werden lässt
- mit cryptsetup/LUKS lässt sich extrem einfach auch noch eine Verschlüsselungsschicht dazwischenlegen
- btrfs als Dateisystem mit Datei-Checksummen (unter Windows zwar mit ReFS möglich, aber meiner Meinung nach "hässlich" und definitiv nichts für den Heim-Experimentierer/Bastler)
- und so weit ich weiß, gelten die Software-RAID-Implementierungen als so stabil, dass Hersteller sie inzwischen auch auf ihren Hardware-RAID-Controllern einsetzen. Kann ich so aber nicht nachweisen. Dazu aber noch für den TE: Auch bei Hardware-RAID-Controllern läuft irgendwo eine Software, die das RAID verwaltet/berechnet. So gesehen ist auch das ein Software-RAID, nur dass das ganze an anderer Stelle berechnet wird

Das heißt ich brauche noch zwei Port Multiplier? Warum kosten so ein 1:5 SATA3 Multiplier nochmal fast so viel wie der ganze RAID Controller? Was hast du da im Gebrauch?
Bei den genannten RAID Controllern steht Windows Server 2012 R2 nicht bei den Unterstützten Betriebssystemen drin. Da die 2012er Version ohne R2 aufgelistet wird, denke ich aber das es kein Problem wäre.

Port-Multiplier für SATA habe ich auch mal ausprobiert. Komplexeres Thema als man erst nennt. Die meisten Controller auf dem Mainboard kommen gar nicht damit klar, also braucht man noch einen neuen SATA-Controller. Und auch da gibts viele, die nur das langsame CBS können, so dass von 5 Platten am Port-Multiplier immer nur eine zur Zeit arbeiten kann, was das ganze lahm macht. Mit FIS wirds schneller, wenn der Controller das kann, aber immer noch nicht schnell.

Ja, die genannten Controller müssten auch unter Windows Server 2012 R2 laufen.

Der Grund warum ich von RAID5 weg will, ist dass man im Internet so Gruselgeschichten liest.
Es heißt dass bei einer größeren Datenmenge, wie sie in meinem RAID vorhanden ist, die Chance für einen Lesefehler fast 100% betrifft und da beim Rebuild alle Daten durchgefräst werden, ist das ziemlich ungünstig.

Jap, sehe ich genau so. Der Silent-Bit-Error ist ein echtes Problem bei heutigen Kapazitäten. Und dann noch die o.g. Probleme, dass oft alle HDDs in kurzen Abständen sterben, weil es die gleichen Modelle mit gleicher Benutzung aus der gleichen Herstellercharge sind.

Deswegen wollte ich eins weiter gehen und mit RAID6 auch dagegen robust sein. Wenn ich das richtig lese unterstützen die Controller M5015 und M5014 dies aber nur mit einem Zusatzmodul (Lizenzschlüssel), welches nochmals ordentlich was kosten kann

Für ~150 € kann ich mir so eine RAID Karte kaufen, aber wenn dann noch 2x 100 € SATA3 Multiplier dazu kommen, dann kann ich mir für das Geld auch noch ein paar Festplatten kaufen und ein Mirror nutzen. Wobei da doch das selbe Problem besteht oder?

Ja, dann muss man wohl noch etwas mehr Geld in die Hand nehmen und einen Controller kaufen, der auch RAID6 kann. Oder Linux/BSD/Solaris o.ä. nutzen, die das alle auch ohne teuren Controller stabil in Software hinbekommen.

Ich glaube mir fehlte da noch ein fundamentales Wissen was SAS Anschlüsse angeht. Dieser mini SAS Anschluss entspricht 4 Ports. Man braucht einfach ein break-out Kabel für ein paar Euro.
Das ändert natürlich alles

So ist es. Einfache SAS-Controller gibt es für gut 100€ und die haben 2x mini-SAS-Anschlüsse (SFF8087), an die man mit passenden Kabeln (aktuell 6,01€ für ein Zweierpack auf Amazon) 8x SATA-Geräte anschließen kann.

Also wenn man weiter liest, dann ist auch RAID6 nicht das Wahre. Es gibt wohl nicht das Allheilmittel, außer RAID unabhängige Backups bereit halten, was bei großen Datenmengen natürlich nervt.

So ist es. Ein RAID ersetzt kein Backup! Das kann man nicht oft genug sagen. In Zukunft werden Dateisysteme, die die Datenintegrität mit Checksummen prüfen, immer wichtiger werden. Denn nur so kann man irgendwann noch erkennen, ob die Daten noch immer dem entsprechen, was man mal draufgeschrieben hat bzw. ob das RAID nach einem Rebuild nach ausgefallener HDD die Daten auch korrekt rekonstruiert hat. Was dann kaputt ist, muss man aus dem Backup nehmen. Und natürlich sowieso gilt: Ein Backup muss eben trotz RAID noch vorhanden sein. Das nervt manchmal wirklich bei großen Datenmengen, ich habe inzwischen dafür einen LTO5-Bandlaufwerk, was aber entsprechend kostet.

Ich würde mir dann jetzt bei ebay ein ServeRAID M5015 kaufen und dann kann ich dort zwei 1:4 SAS auf SATA Kabel kaufen und betreibe dort 7 oder 8 der Festplatten in RAID5 (oder vielleicht RAID50, hört sich zumindest auch interessant an )
Aber diesmal warte ich noch statt unüberlegt schnell zu kaufen, um euch die Chance zu geben mich auf etwas hinzuweisen, damit ich mir später nicht wieder anhören muss dass ich nicht optimal eingekauft habe

Wenn du RAID5 nehmen willst: Ja, ich denke zu den Controllern kann man greifen. Link zu den günstigen Kabeln kann ich dir per PN schicken.
Wenn du RAID6 nehmen willst: Überleg dir mal, ob es nicht doch ein anderes Betriebssystem sein darf Und dann reicht auch ein günstigerer Controller, weil du nicht auf RAID-Funktionalitäten des Controllers angewiesen bist. IBM M1015 oder HP H220 wären da Kandidaten.

 

[tfyer]

Hallo,

Alles mit 7x WD Red 3 TB unter Windows Server 2012 R2 Storage Spaces (Manche zum testen aber nur mit kleiner Kapazität).

WD gibt für die Red Serie an, dass maximal 5 HDDs in einem Gehäuse arbeiten dürfen ( http://www.wdc.com/wdproducts/library/SpecSheet/DEU/2879-771442.pdf ), da würd ich ggf. auch drauf achten.
LG
tFyer

 

[cubei]

Eine 100%ige Sicherheit hat man wohl nie, was auch ok ist, da meine Daten nicht lebensnotwendig oder sonst irgendwie kritisch sind. Daher kann ich auch mit solchen Einschränkungen leben, ich versuche nur die bestmögliche Lösung für mich zu finden.

beim Rebuild mind. einen Silent-Bit-Error bekommt und damit ggf. mind. eine Datei beim Rebuild eines vollen Arrays kaputtgeht

Ändert RAID6 hier etwas in Bezug auf RAID5. Der Fehler ist ja silent, das bekommt also niemand mit. Beim RAID6 könnte man theoretisch so einen 1-Bit Fehler korrigieren, aber der Controller guckt sich ja nicht bei jedem Lesezugriff die 2 Paritäten dazu an um die Integrität zu überprüfen (dafür sind wohl Reparaturläufe). Und während des Rebuilds hat man ja praktisch ein RAID5 Verbund und in dieser Phase ist ja die Chance groß so einen Lesefehler zubekommen und hier ist es dann nicht mehr möglich einen 1-Bit Fehler zu korrigieren, nur noch festzustellen (theoretisch, falls man beim Rebuild die Integrität prüft).

Wenn du RAID5 nehmen willst: Ja, ich denke zu den Controllern kann man greifen. Link zu den günstigen Kabeln kann ich dir per PN schicken.
Wenn du RAID6 nehmen willst: Überleg dir mal, ob es nicht doch ein anderes Betriebssystem sein darf

Ist vielleicht irrational, aber ich möchte Windows nutzen
Da ich sowieso ein Backup vorrätig haben muss, werde ich heute Abend nach einem M5015 gucken für ein RAID5 oder RAID50 Verbund aus 8 Laufwerken.


Interessant wäre jetzt noch, wie leicht man ein Backup machen kann, welches Silent-Bit-Error nicht übernimmt, sondern darauf hinweist.
Als Intel RST mir einen Fehler angezeigt hatte, sodass ich schnell ein Backup machen musste, habe ich dies mit robocopy /MIR gemacht. Wäre ja gut, wenn vorher die Checksumme von jeder Datei in Quelle und Ziel verglichen wird, sofern der Zeitstempel identisch ist.

WD gibt für die Red Serie an, dass maximal 5 HDDs in einem Gehäuse arbeiten dürfen

Hallo,WD gibt für die Red Serie an, dass maximal 5 HDDs in einem Gehäuse arbeiten dürfen ( [url]http://www.wdc.com/wdproducts/library/SpecSheet/DEU/2879-771442.pdf ), da würd ich ggf. auch drauf achten. LG tFyer[/QUOTE]"]So 100 % einig sind sie sich da aber auch nicht[/URL] ^^

Hier nach sind bis zu 8 (also genau mein Fall) in Ordnung, bzw. dafür wurden sie gemacht. Aber ich würde auch nicht davor zurückschrecken mehr davon zu nutzen

---

M5015 Karte und zwei SAS Splitter Kabel sind gekauft, also bitter verkneift euch jetzt die Kommentare, die darauf hinweisen, dass ich es besser ganz anders gemacht hätte

 

[cubei]

Mir fehlt noch die 8. Festplatte, aber ich habe schon mal den RAID Controller mit 7 HDDs getestet.
Ich muss sagen, dass ich ziemlich enttäuscht war, als der RAID5 langsamer war als beim SW-RAID.
Dann habe ich mal auf Write Back gestellt und kriege das Grinsen nicht mehr aus dem Gesicht


Auch finde ich super, dass es bei LSI auf der Webseite eine Firmware vom letzten Monat gibt und Treiber und Software auch auf dem neuesten Stand sind :thumbsup:

Die installierte Batterie ist schrott, aber ich werde wohl eher eine USV kaufen, wenn überhaupt, ich muss ja sowieso Backups machen.
Der Kühlkörper ist extrem heiß, ich glaube da sollte noch ein Lüfter vor.
Aber ansonsten bin ich echt zufrieden (bis jetzt ), also danke für die Beratung.