Sammelthread: Eigenbau NAS / Heimserver / Storagesysteme

[IronEagle]

Da mein "9 TB NAS"-Verkaufsthread zu vielen Fragen und fachlichen Diskussionen gefuehrt hat mache ich mal diesen Thread hier auf Ich hoffe auf regen Erfahrungsaustausch, und stelle als erstes mal meinen aktuellen "SOHO" Storageserver vor:

http://cyberdelia.de/computer/darkland.html

Derzeit 10 TB Brutto-Kapazitaet mit Luft nach oben, bei ausgezeichneten Leistungsdaten/Energieeffizienz. Zu einem Preis mit dem QNAP und co kaum mithalten koennen

Als Backup-Server habe ich gestern einen HP N36L bestellt, und berichte sobald ich ihn eingerichtet habe.


Die letzte unbeantwortete Frage im Verkaufsthread war wie ich das Thema "Passwort-Eingabe fuers verschluesselte Raid" geloest habe: ganz simpel eigentlich - das eigentliche OS bootet ganz normal von der SSD. Da kann ich mich dann einloggen und starte ein kleines Script was das dmcrypt aktiviert, lvm rescan macht und die Volumes dann mounted.

 

[dorfi]

wieviele Ports? Ab einer gar nicht so großen Anzahl an Ports wird es meist schwer noch einen Controller OHNE Raid zu bekommen.

Schon, aber das musst du ja nicht benutzen. Kannst die einzelnen Platten ja einfach PLatten sein lassen.

Wegen der Hot Spare Sache:
RAIDS fallen gerne beim rebuilden aus Deswegen Hot Spares. Schaden nie. Ist das eine PATA Sockel SSD im Video? Was läuft da für ein OS drauf? normales Linux?

 

[cuco]

Naja eine HotSpare sorgt ja nur dafür, dass sofort bei einem Ausfall der Rebuild startet anstatt erst nachdem man eine neue Platte eingebaut hat. Ich halte eine HotSpare Platte im RAID6 für unnötig - aber vielleicht bin ich da ja ebenso auf dem Holzweg wie der Erbauer des NAS ;-)

Ja das ist eine PATA Sockel SSD. Gerade einmal 2GB Platz bietet die, wenn ich das richtig weiß - was natürlich doch schon für arge Platzprobleme sorgt teilweise.

Laufen tut Ubuntu 10.04 LTS. Glaube die normale Desktop-Variante aber ohne grafische Überfläche. Könnte auch die Serverversion sein. Macht aber ja keinen großen Unterschied.

 

[yatpu]

das problem ist, dass normale festplatten meist mit einer fehlerrate von 1 pro 10^14 bits angeben werden. das bedeutet, das beim lesen einer 1,5 tb-patte eine 12%ige (12 terabits / 10^14 = 0,12, also 12%) wahrscheinlichkeit besteht, dass es zu so einem nicht behebbaren lesefehler kommt. tritt so ein fehler ausgerechnet beim rebuild auf, ist bei nem raid 5 die ka*** am dampfen, da dies dem ausfall einer 2. platte gelichkommt. das array kann nicht mehr in einen konsistenten zustand gebracht werden. ein raid 6 kann zwar bekanntlich einen weiteren defekt verkraften und ist daher etwas robuster, doch die wahrscheinlichkeit, dass einem das array trotzdem um die ohren fliegt, ist immer noch sehr hoch:
die wahrscheinlichkeit, dass die platte vollständig gelesen werden kann, liegt bei 88%, um bei einem raid6 raid5 mit 12 11 platten ein fehlerfreies rebuild durchzuführen, müssen 10 platten fehlerfrei gelesen werden. die wahrscheinlichkeit dass dies gelingt, beträgt 0,88^10 und somit erschreckende 27,85%! anders ausgedrückt gehen bei so einem array 3 von 4 rebuilds in die hose.
wenn man dann kein backup der wichtigsten daten auf einem anderen medium hat, kann man die fehlerhaften teile des arrays nicht wiederherstellen. die daten sind im eimer. ein weiterer grund, warum ein raid kein backup ersetzen kann.

hab ich in obiger rechnung einen fehler gemacht? wenn ja, bitte ich um korrektur. ausnahmsweise hoffe ich sogar, dass ich mich verrechnet hab, denn die zahlen finde ich heftig

edit:
wie von cuco weiter unten angemerkt, war mein ansatz nicht auf ein raid6 anwendbar. meine rechnung gilt lediglich für ein raid5. die erläuterung zum thema raid6 findet ihr unten bei cuco.

 

[BitKiller]

Schon, aber das musst du ja nicht benutzen. Kannst die einzelnen Platten ja einfach PLatten sein lassen.

Wenn das so einfach wäre würde ich ja nicht mehr suchen.
Wenn JBOD, dann nur als großes LW nutzbar - also keine einzelnen HD's.

Benötigen würde ich einen SATAII PCIe Controller entweder mit 1x8 Ports oder 2 Karten mit je 1x4 Ports.

 

[dorfi]

Ich dachte eigentlich das kann so ziemlich jeder Controller. Sorry, da lag ich wohl falsch.

 

[cuco]

@yatpu: aber was soll deiner Meinung nach daran eine HotSpare-Platte ändern?
//EDIT: und der Denkfehler in deiner Rechnung ist, dass das nur fürs RAID5 gilt oder für ein um zwei Platten degradetes RAID6. Bei einem RAID6 aus 12 Platten und dem Ausfall einer Platte, müssen 10 Platten fehlerfrei gelesen werden. Kommt es zu einem Fehler (der ja doch recht wahrscheinlich ist), muss dieser Fehler von der 11. HDD gelesen werden. Nur wenn das Bit auf Platte 11 auch fehlerhaft gelesen wird, kommt es zum Problem. Das tritt nach meiner Rechnung bei jedem 138.600.326.091.783. Rebuild des Beispielarrays auf. Rechnung: 1-0,88^10=Wahrscheinlichkeit eines Fehlers beim Rebuild. Der Wert mal 1/(10^14) um die Wahrscheinlichkeit rauszubekommen, dass dieses Bit auf der letzten HDD auch fehlerhaft gelesen wird. Davon der Kehrwert ergibt meine Zahl.

@BitKitller: JBOD heißt nicht gleich 1 große Disk. Das heißt oft (meistens?) auch, dass man die Festplatten "durchschleifen" kann und dem Betriebssystem als Einzelplatten durchreicht.
Ich nutze einen Areca ARC-1201. Der kann 8 SATA II HDDs verwalten. Im RAID oder eben auch als durchgeschleifte HDDs. Und macht auch Spin-Down bei Nichtbenutzung. Durch seinen eigenen RAM muss er manchmal nicht mal bei Zugriffen die HDDs aufwecken... Der Controller ist aber eher eine spezielle Lösung - es ist der einzige Controller den ich gefunden habe, der 8 Ports in einem PCIe-x1 Slot zur Verfügung stellt. Dass die Bandbreite dabei nicht ausreicht, um alle HDDs voll auszuschöpfen, ist mir bekannt - aber wenn das Board einzig und allein einen einzigen PCIe-Slot zur Verfügung stellt und das ein x1-Slot ist, bleibt einem nichts anderes übrig ;-) Der Controller ist auch nicht ganz billig. Und verdammt schwer zu bekommen. Da die Software auf den Areca-Controllern eigentlich immer sehr ähnlich (sogar die gleiche?) ist, könntest du dich aber auch nach Areca-Controller umschauen. Die sind aber alle nicht billig - aber gut!

 

[BitKiller]

@cuco:
Vielen Dank für den Tipp!
Übernimmt Windows den Spindown oder ist der extra beim Controller einstellbar?
Dürfte aber jetzt nach kurzer Suche wirklich schwierig sein, so ein Teil zu besorgen.
Die bei Geizhals gelisteten Controller bin ich schon durch - entweder kein Spindown oder die Einzel-HD's sind nicht nutzbar (mit und ohne JBOD)

 

[yatpu]

auf hot spares bin ich in keinster weise eingegangen, da diese hier irrelevant sind.

wie es aussieht, hab ich mich tatsächlich beim ansatz vertan. :facepalm: das ärgert mich zwar, aber ich bin zugleich erleichtert, dass es nicht ganz so schlimm um raid6 steht. dein ergebnis dürfte stimmen. somit ist raid6 derzeit eine sinnvolle wahl. was man von riesigen raid5 arrays nicht sagen kann. somit machen die prüfsummen, die dateisysteme der neusten generation, wie zfs und btrfs, von metadaten und z.t. auch nutzdaten anlegen, absolut sinn. deren bedeutung wird in zukunft sogar noch zunehmen.

 

[cuco]

@BitKiller: wenn du wirklich den ARC-1201 haben willst, könntest du es mal per Mail unter info@adamcom.de probieren. Der müsste den besorgen können. Grüße am besten auch nett von Tobias ^^ Aber ich schätze du landest nicht unter 300€, eher noch eine Ecke darüber.
Alternativ müssten diese: http://www.areca.com.tw/products/sas3g_internal.htm und diese: http://www.areca.com.tw/products/pcie341.htm die gleiche Firmware nutzen und daher das gleiche können. Nutzen aber mehr PCIe-Lanes. Du brauchst dann also einen x8-Slot, alternativ geht auch ein x16er.
Die Controller verwenden in ihrem eigenen BIOS eine eigene Einstellung für den HDD-Power-Down. Aber auch der kleinste 8er davon (ARC-1222) ist unter 300€ nicht zu bekommen. Eher schon nicht unter 400 ^^ Ich wollte meinen ARC-1201 eigentlich irgendwann auch noch verkaufen, aber das wird nicht in unter 8 Monaten passieren. Sind denn Controller in der Preisregion im Budget überhaupt drin? ^^

@yatpu: ja du hast Recht, sobald btrfs ausgereift ist, wird es auch das Dateisystem auf meinem Server werden. Derzeit ist es noch XFS. Aber ich schätze, nach derzeitigem Stand und der Geschwindigkeit der Entwicklung bisher, wird btrfs noch Jahre brauchen, bis es alle interessanten Features bekommt bzw. stabil integriert hat.

 

[BitKiller]

@cuco:
lt. Hersteller ist starline.de der Importeur - habe bereits vor einer Stunde eine Mail abgeschickt.
Mal sehen, was die antworten - adamcom steht dann als Reserve.
Bei Deinen anderen beiden Links fehlt mir der Eintrag wie beim ARC-1201 "Single Disk".

 

[cuco]

Das Handbuch für den Controller ist genau das gleiche. Daher wird auch der Funktionsumfang gleich sein Die Firmware ist zwar nicht die gleiche, trägt aber exakt die gleiche Versionssnummer. Ich gehe zu 99% davon aus, das das damit auch geht

starline beliefert glaube ich ausschließlich Gewerbetreibende... Der zweite angegebene Importeur für Deutschland (CTT) tut es auf jeden Fall ausschließlich.

 

[IronEagle]

Und warum ist ein RAID mit 12 Platten ohne Hot Spare mutig? Es ist ein RAID6. Da müssen erst einmal drei Platten gleichzeitig ausfallen, damit er wirklich Ärger bekommt

Dazu empfehle ich den Artikel in einer der letzten C'Ts Generell gilt: ein Raid ist kein Backup, ist kein Backup, wird nie ein Backup, ersetzt nie ein Backup. Alle Daten ohne Backup sind per definition unwichtig. Raid sorgt nur dafuer das man bei einem Plattendefekt nicht zwingend sofort ans Backup muss (das Thema hoehere Verfuegbarkeit lass ich bei unserern SATA-Raid-Spielereien auf normaler PC Hardware mal aussen vor).

Schon, aber das musst du ja nicht benutzen. Kannst die einzelnen Platten ja einfach PLatten sein lassen.

Wenn der Controller das mitmacht. Es gibt durchaus einige Controller die trotzdem ne Signatur draufschreiben o.ae., so das die Platte an einem normalen Controller nicht ohne neue Partitionierung/Formatierung nutzbar ist.

 

[cuco]

@IronEagle: Ich weiß dass ein RAID kein Backup ersetzt. Mein Heimserver hat mich inzwischen im 4-stelligen Bereich gekostet. Aber ich habe alle Erfahrungen schon durch. Angefangen hat es mit einer defekten externen HDD. Ich dachte: man habe ich ein Glück, ich habe mir gerade eine neue gekauft und die Daten rüber kopiert. Dann ist ja noch alles da. Quasi fast im gleichen Moment gab Platte Nummer 2 auch auf. Das war der Startpunkt der Serverplanungen. Und sofort stand fest, dass ein RAID 5 nicht ausreicht. Also ein RAID 6. Doch ich habe es schon geschafft, dass ich einen Befehl unglücklich angewendet habe (ich glaube sogar der Befehl hatte nen Fehler) und dadurch etwas mit "sudo rm -rf /" vergleichbares ausgeführt habe. Ebenso habe ich schon mal bei Benchmarks aus Versehen schreibende Zugriffe auf HDDs verursacht - aber auf Blockebene unterhalb vom Dateisystem. Und auf glaube 4-6 der 8 Platten, die in meinem RAID6 hängen. Auch bin ich irgendwann auf ein natives Linux umgestiegen, nachdem ich bei nem Festplattendefekt große Probleme mit meiner Virtualisierungslösung hatte. Das alles gibt jedes mal viel Lehrgeld. Und jedes mal werden alle Hard- und Softwarelösungen aufgerüstet. Inzwischen habe ich auch eine gute Backupstrategie und nutze Crashplan. Da kann ich unlimitert viele Daten hinschieben und unbegrenzt viele Versionen von Dateien speichern, außerdem werden gelöschte Dateien unbegrenzt aufbewahrt. Aber auch da kann man mal Probleme haben, auch da hab ich durch nen dummen Zufall schon mal Daten gelöscht. Ich hab sie bisher nicht vermisst, aber das Original existiert auf jeden Fall nicht mehr. Es kann also verdammt viel passieren und wie gesagt so kann man sogar mit Sicherung seiner Daten vom Originaldatenträger auf ein Homeserver mit RAID6 und von da aus nochmal offside in einem Rechenzentrum immer noch Daten verlieren. Aber die Chance ist schon verdammt klein

Jetzt hab ich lange ausgeführt, warum ich weiß, dass ein RAID kein Backup ersetzt. Damit hast du mir aber immer noch nicht verraten, was denn nun eine HotSpare-Platte im RAID6 noch soll. Eine HotSpare-Platte ist auch kein Backup...

Übrigens schreiben die Areca-Controller auch keine Signatur drauf. Die HDDs werden richtig physikalisch durchgeschleift - nur noch zum klar stellen

 

[IronEagle]

z.B. kann eine Hotspare-Platte anspringen ohne das man das System booten muss oder hoffen das Hotplug funktioniert. Platten, gerade wenn sie schon aelter sind und/oder lange am Stueck gelaufen sind fallen gerne beim stoppen oder starten an. Ein Rebuild kann auch direkt nach dem Ausfall beginnen, und nicht wenn ich gerade mal am Rechner bin (oder erst noch ne Ersatzplatte ordern muss)

 

[BitKiller]

@cuco:
Habe heute die Antwort von starline.de bekommen:
Den ARC-1201 scheint es nicht mehr zu geben - daher habe ich weder Neu- noch Gebrauchtware gefunden.
Und Du hast Recht: Nur Händler werden beliefert.
Die Nachfolger sind jetzt der ARC-1222 (SATAII) und der ARC-1223-8i (SATAIII), beide können Single Disk und Energie-Funktionen.
Ich habe mich für den ARC-1223-8i entschieden - kostet €400.-- obwohl ich SATAIII momentan für meine SATAII Platten (noch) nicht brauche.
Nochmals vielen Dank für den Tipp :thumbup: - werde dann im anderen Thread berichten wenn das Teil angekommen ist.
Wenn alles mit der Karte passt, ist dann endlich mein neuer Eigenbau-Heimserver fertig...

 

[cuco]

Naja "Nachfolger" ist es dann ja nur indirekt - der ARC-1201 war ja eben besonders, weil er in einen PCIe-x1-Slot passt. Die "neuen" passen da nicht rein. Aber für dich ist es ja genau das richtige

 

[jue]

Moin!

So, nun habe ich mich hier auch mal angemeldet, auch wenn ich kein Thinkpad mein Eigen nennen kann Ich bin der Erbauer des von cuco gezeigten RAIDs. [Erstmal danke an dich für die kleine Werbung - dann hab ich das ja nicht alles umsonst gemacht ]

Andererseits - er schreibt ja von 1,5TB HDDs. Die scheinen ja schon etwas aelter zu sein, 2TB war ja schon lange Zeit der Sweet-Spot fuer Preis pro Gigabyte.

Die Platten habe ich Anfang 2009 angeschafft - für relativ viel Geld. 130,-€ die Platte. Inzwischen sind ja schon drei Jahre ins Land gegangen. Und mir ist neulich ein Platte gestorben. 4095 Relocated Sectors. Mehr ging nicht, weil der Reservebereich aufgebraucht schien Ich hatte das Ding schon aufgegeben, da hatte mir cuco gesagt, ich solle doch mal bei Seagate die Grantie prüfen. Und tatsächlich: Bis 2013 Ich war überrascht. Die neue Platte ist auch schon zu mir unterwegs.
Dennoch bin ich am überlegen, jetzt auf 3TB-Platten umzusteigen, wenn die in einen angenehmen Preissegment gelandet sind. Dann werde ich vorerst wieder 2 1,5er zu einer 3er HDD bündeln und nach und nach austauschen ... Zumal bei mir damals das Alignment in die Hose gegangen ist und ich mal alles neu machen müsste. Der Start des Dateisystems liegt nicht auf einer Stripe-Grenze des RAIDs. Daher ist die Performance beim Schreiben von vielen kleinen Dateien auch recht schlecht. Und vor einem Realignment am offenen Herzen habe ich Angst - obwohl mir so etwas in einer Testumgebung durchaus geglückt ist!

Ein Raid mit 12 HDDs ohne Hotspare Platte erscheint mir auch etwas mutig

Das RAID fasst unter anderem selber nur Backups. Ist also zum Teil Backupserver selber. Die Daten, die wichtig und einmalig sind, sichere ich wöchentlich auf eine externe HDD, die ich auch brav offline aufbewahre. Denn: vor dem Tod einer weiteren Platte habe ich eher wenig Angst. Viel mehr Angst habe ich vor meiner eigenen Tollpatschigkeit: rm -rf / oder derartiges traue ich mir zu

Mit einem Update von Board und CPU wuerde er vermutlich einiges an Stromkosten sparen, und haette mehr Leistung, z.B. fuer komplette Auslastung des GBit LANs.

Steht auf meiner unbedingt-haben-will-Liste. Gleich neben den managebaren, VLAN-tauglichen Switchen und dem neuen Notebook Ich denke, ich werde mich dort von deinem Setup inspirieren lassen, IronEagle. Das klingt wirklich nice!
Hast du mal Benchmarks mit Verschlüsselung gefahren? Ich bin am überlegen, statt zum i3 zu einem i5 zu greifen, da er den AES-Befehlssatz beherrscht. Wäre glaub ich recht nett.

Yatpus Rechnung kenne ich und den besagten c't-Artikel ebenfalls Daher bin ich damals auch auf ein RAID6 gewechselt. Übrigens ist die Mathematik dahinter ziemlich beeindruckend. Nur so nebenbei.

z.B. kann eine Hotspare-Platte anspringen ohne das man das System booten muss oder hoffen das Hotplug funktioniert. Platten, gerade wenn sie schon aelter sind und/oder lange am Stueck gelaufen sind fallen gerne beim stoppen oder starten an.

Das Hotswap läuft tadellos. Ich habe da bei der Controllerauswahl auch penibel drauf geachtet.

Ja das ist eine PATA Sockel SSD. Gerade einmal 2GB Platz bietet die, wenn ich das richtig weiß - was natürlich doch schon für arge Platzprobleme sorgt teilweise.

Jup, genau. Updates kann ich meist nur sukzessiv einspielen, weil der Speicher so unglaublich klein ist. Ich bin aber gerade am Aufrüsten: Ein IDE2CF Adapter plus einer 8GB CompactFlashCard. Wieder zum auf den Sockel stecken.
BTW: Ich frage mich ernsthaft, wie ich damals mit meinem ersten PC tatsächlich mit einer 2GB-Platte auskam?! Diese Kiste macht doch nur son bisschen Server-Kram

Laufen tut Ubuntu 10.04 LTS. Glaube die normale Desktop-Variante aber ohne grafische Überfläche. Könnte auch die Serverversion sein. Macht aber ja keinen großen Unterschied.

Nicht ganz. Weil mir teilweise die Tools zu veraltet waren ( byobu!!! ) und ich den 2.6.38er Kernel haben wollte (multithreaded dm-crypt), ist auf der Kiste Ubuntu 11.04 installiert. An ein Releaseupgrade ist aber momentan wegen der kleinen Systemplatte nicht zu denken.


Übrigens finde ich das Thema echt unglaublich spannend und ich habe in den 4 Jahren basteln echt viel gelernt. Und der Lernprozess geht weiter und weiter

Grüße
Jue

 

[IronEagle]

Na, willkommen Jue

Du hast recht, das Thema ist spannend, und den Werdegang von einer defekten Platte ueber nen kleines Raid bis zu solch ausgefuchsten Systemen hat glaub jeder "Verrueckte" hier hinter sich.

Benchmarks habe ich einige gefahren, und hatte selber auch wegen nem i5 (oder nem kleinen Xeon) ueberlegt. Der i3 schafft es aber hier bequem (Raid 5 in Software, dm-crypt, 5*2 TB HDDs) das Gigabit-Netzwerk zu saturieren - sprich mehr als 100 MB pro Sekunde zu lesen oder zu schreiben. Daher habe ich dann auf den i5 bzw. AES-NI verzichtet.

Alignment ist ein Thema, ja. Gerade wenn man mehrere Ebenen richtig machen will/muss: Partitionen (einfach bei 1 MB anfangen lassen), Software-Raid (meta-data Format, Chunksize, Plattenanzahl), dm_crypt (align-payload Parameter), LVM (ohne wuerd ich sowas nicht machen,dataalignment und physicalextentsize Parameter) und dann das Dateisystem darauf (stride bzw. stripe-width-Parameter)... das muss alles passen. Und dann noch etwas Tuning am Samba Und schon klappts mit "schneller als mein Netzwerk".

 

[cuco]

Der i3 schafft es aber hier bequem (Raid 5 in Software, dm-crypt, 5*2 TB HDDs) das Gigabit-Netzwerk zu saturieren - sprich mehr als 100 MB pro Sekunde zu lesen oder zu schreiben. Daher habe ich dann auf den i5 bzw. AES-NI verzichtet.

Hier gehts dann aber um RAID6. Wobei meine Erfahrungen bisher waren, dass die RAID-Berechnung im Gegensatz zur Verschlüsselung nicht viel ausmacht. Und wenn die CPU die Verschlüsselung schafft - ja dann spricht wenig für den i5. Evtl. braucht der i5 weniger Strom, weil ihn die Verschlüsselung weniger auslastet. Allgemein sollte natürlich der i3 sparsamer insgesamt gesehen sein. Was nun in diesem Spezialfall wirklich besser ist (weniger Strom durch geringere Auslastung oder weniger Strom durch kleinere Architektur), lässt sich wohl nur durch Tests herausfinden.

A pro pos Strom: Der aktuelle Munin-Stromverbrauchs-Graph von meinem Homeserver, seit ich ihn über eine USV loggen kann.
Für einen potenten Homeserver mit i7-2600, Q67 Chipsatz, RAID-Controller, 8GB RAM und 10 HDDs sind die Werte echt ok! Gerade einmal gut 45 Watt im idle und 150W unter Vollast. Im Schnitt 75-80 Watt, wobei auch derzeit dauerhaft ein Offside-Backup (mit starker CPU-Auslastung durch Deduplizierung auf Blockebene, Verschlüsselung und Komprimierung) sowie zwei Gameserver darauf laufen. Dafür finde ich die Werte alle erstaunlich niedrig! Hut ab vor den aktuellen Stromspartechnologien ;-) Ach ja und nicht zu vergessen: Ein Netzteil mit 80+ Effizienz. Sonst wären die Hitzeentwicklung und der Stromverbrauch größer als jetzt

LVM (ohne wuerd ich sowas nicht machen,dataalignment und physicalextentsize Parameter)

Was genau bezweckst du dann noch mit der LVM Zwischenebene?

 

[jue]

Und dann noch etwas Tuning am Samba Und schon klappts mit "schneller als mein Netzwerk".

Wie sieht genau das Tuning aus? Was hast du gemacht?

Grüße
Jue