Hui mir kommt es so vor, als wenn hier viele Leute schreiben, die ein solches System in der Praxis noch nie benutzt haben und sich lediglich auf Aussagen quer Beet aus dem Netz berufen. Ich kommentiere mal ein paar davon mit meinen Erfahrungen aus der "Praxis" - habe ja ein solches System im Einsatz, siehe Signatur. Die nächste Aufrüstung in Sachen Speicherkapazität steht auch gerade an.
Da wirst du mit hoher Wahrscheinlichkeit im Consumer-Bereich nichts finden. Und im Formfaktor ATX/mATX erst recht nichts.
Deutlich über 10 SATA-Ports findet man ziemlich sicher auf keinem normalen Board. Im Serverbereich werden dann eher mehr PCIe-Slots bereitgestellt, in die man seine SATA/SAS/RAID-Controller steckt. Wobei es auch Boards mit Onboard-SAS-Controllern gibt, die dann evtl. in diese Größenordnungen kommen. 14 Ports findet man dann aber noch - wobei es ein ganz schönes Kabelgewirr gibt, wenn man 14 SATA-Kabel auf einem Mainboard befestigt. SAS zu 4 Port SATA Kabel entwirren das ganze doch sehr.
Naja, Consumer-Hardware scheidet aber eh schon durch die Anforderung an ECC-RAM aus.
da du 13 Ports möchtest, gehe ich von 1x System und 12x Datengrab aus. 12x4TB mach 48TB. Bei so einem Brummer würde ich dir lieber zu einer kommerziellen Version raten und nicht zu einem FreeNAS Eigenbau. Der Anlaufstrom der Festplatten ist da nicht zu verachten. Hier wird sicher staggered spin-up nötig sein.
Och der Anlaufstrom geht. Laut Internet zieht eine Platte maximal ca. 22W beim Anlaufen. Das wären bei 13HDDs knapp 290W. Meine Erfahrung ist, dass der Wert eher so bei 13-15W liegt. Das wären unter 200W beim Anlaufen. Das macht wohl jedes normale Netzteil mit, man setzt ja schließlich keine PicoPSU oder so in einen solchen Storage-Server.
Über den zu erwartenden Stromverbrauch und vor allem Lärm bist Du Dir sicherlich im Klaren, oder ?
Im Wohnzimmer wirst Du sowas jedenfalls nicht betreiben können
Einspruch
Mit leisen Lüftern, Entkoppelung der HDDs und im gedämmten Gehäuse bekommt man einen solchen Rechner flüsterleise. Ich habe meine Workstation/NAS in meinem Zimmer stehen, in dem ich auch schlafe. Ich bin sehr empfindlich, was Geräusche beim Schlafen angeht, aber mein Server ist leiser als mein T500 (und da hört man dank SSD schon nur den leisen Lüfter). Auch den Stromverbrauch kann man ganz gut in den Griff bekommen. Wenn ich meine HDDs in den Standby lege und der Rest mit geringer Last vor sich hin idlet, komme ich ganz knapp auf unter 40W. Wenn meine 8 HDDs + 3 SSDs an sind und der PC eine normale Grundlast hat, komme ich auf 70-75W. Erst wenn die CPU wirklich mal (auch auf mehreren Kernen) gefordert wird, steigt der Stromverbrauch auf über 100W.
Dann vergiß das Wärmeproblem nicht. In einer unbelüfteten kleinen Abstellkammer ohne Fenster kann sich das sehr schnell aufheizen, besonders im Sommer.
Da erwähne ich nochmal die Werte von hier drüber. Da entsteht weniger Wärme als ein Mensch abgibt (80W in Ruhe, 200W bei leichter Bewegung). Wenn das Ding also nicht in 1-2m³ gequetscht wird, also einen Schrank der kaum größer ist als das PC-Gehäuse, dann wird man mit einem solchen Setup noch nicht schnell Probleme bekommen.
Die 500GB Platte würde ich ganz weglassen, die passt so wie so nicht ins raidset.
Richtig, ich verstehe auch nicht, wofür die sein soll. Oder fürs Betriebssystem?
Das mit Raid-Z solltest du nochmal überlegen. Das ist meines Erachtens für den Hausgebrauch nicht geeignet. Was spricht gegen RAID5?
Hm? RAID-Z ist doch einfach nur die Implementierung eines RAID5 auf Dateisystemebene. Der Effekt ist der gleiche. Dein Argument "Hausgebrauch" spricht weder für RAID5 noch für RAID-Z...
Datensicherheit hast du bei beiden nicht wirklich.
Das stimmt. RAID erhöht eben nur die Datenverfügbarkeit, nicht die Datensicherheit. Das können nur Backups. Aber ich denke/hoffe, das ist Flatterlight klar. Sonst baut man kein solches System...
Warum möchtest du mit 2 kleinen raidsets arbeiten, anstatt mit einem großen?
Da kann ich auch nur uneingeschränkt zustimmen. Sehe da keinen Vorteil. Eher im Gegenteil. Erstens verschenkst du Plattenplatz und zweitens kannst du lieber ein größeres RAID mit doppelter Parität (RAID-Z2 oder RAID6) nehmen, das erhöht die Datensicherheit insgesamt mehr als zwei RAID5/Z einzusetzen.
ich persönlich würde einen Hardware Raid5 machen, da RaidZ eine Software Lösung ist. Aber wenn es dir gefällt, kannst du das natürlich machen - ist halt einfach Geschmackssache.
Ob Hardware- oder Software-RAID, da scheiden sich die Geister. Beides hat seine Vor- und Nachteile. Eigentlich gibt es ja auch gar kein Hardware-RAID. Jede Implementierung ist ein Software-RAID. Die Frage ist immer nur, wo diese Software läuft. Im Betriebssystem auf der CPU oder auf einer eigenen CPU auf einem RAID-Controller? Vorteile von Hardware-RAID sind eben diese Eigenständigkeit und daher auch keine Performanceverluste durch Belastung der CPU im Rechner. Meiner Meinung nach ist man aber mit Software-RAID deutlich flexibler. Man kann auch Platten kombinieren, die zum Teil an einem Controller und zum Teil am Mainboard hängen und im Falle des unwahrscheinlichen Komplettausfalls hat man viel mehr Möglichkeiten, das RAID doch noch wieder zusammenzusetzen. Ich bin daher eher ein Fan von Software-RAID auf Betriebssystem-Ebene (RAID-Z unter ZFS oder mdadm unter Linux). Die Implementierungen sind auch absolut stabil, da muss man sich keine Gedanken mehr drum machen.
Über den Raidlevel lässt sich natürlich tagelang streiten, aber ich selbst nutze einen ext3 RAID5 aus 4x2TB + 1x2TB Hot Spare. Mir ist schonmal eine HDD gestorben, und die HotSpare
hat anstandslos die Arbeit übernommen und die tote Platte wurde abgeschalten.
Im Homeserver/NAS-Thread hier im Forum haben wir schon mal ausführlich Infos zusammengetragen (zum Teil auf Basis eines Artikels aus der c't), warum bei heutigen Festplattengrößen eine doppelte Parität absolut zu empfehlen ist und man daher nach Möglichkeit RAID6 statt RAID5 bzw. RAID-Z2 statt RAID-Z1 einsetzen sollte. In Kurzform die Zusammenfassung der Begründung: HDDs bekommen immer mehr Speicherkapazität, die statistische Wahrscheinlichkeit dass ein Sektor fehlerhaft gelesen wird, ist aber ungefähr gleich geblieben. Dadurch steigt die Wahrscheinlichkeit, dass beim Rebuild eines Arrays ein Sektor fehlerhaft "gerebuildet" wird, stark an. Die Wahrscheinlichkeit, bei wenigen (unterer einstelliger Bereich, genaues müsste ich jetzt erst nachschauen) Rebuilds einen solchen Fall zu haben, ist sehr hoch. Wenn man Glück hat, war das ein eh leerer Sektor und man bekommt es gar nicht mit. Oder ein Sektor, von dem man später nie wieder was merkt. Wenn man Pech hat, zerreißt es einem dann aber gerade eine wichtige Datei oder die RAID-Implementierung merkt es und schmeißt noch eine zweite Platte aus dem RAID, was in einem RAID mit nur einer Parität (RAID5/Z) natürlich "tödlich" ist. Ergo: Nimm doppelte Parität!
So und nun gehe ich nochmal auf deinen Startpost ein:
Hallo,
ich will meinen Server als Storage Rechner umbauen. Und bin auf der Suche nach passender Hardware.
Anforderungen:
- OS: FreeNAS vom USB Stick oder SSD gebootet
- viele SATA 3/SAS Ports (benötige 13)
- RAM: idealerweise 64GB EEC(ZFS, deduplication)
- CPU: AES Coprozessor -> crypto in Hardware (stromsparend
)
- Boardformfaktor: ATX/M-ATX
Freue mich über Tipps und Hinweise.
Flatterlight
Müssen es wirklich 64GB RAM sein? Wenn die Formel passt (mit ZFS habe ich noch kaum Erfahrungen), dann reichen dir aktuell bei ca. 12TB ja schon ca. 12GB RAM für die Deduplizierung. Dann könntest du auch eine Nummer kleiner nehmen, z.B. mit Intel C204/C206/C216-Chipsatz, Xeon E3 und 32GB ECC-RAM. Außerdem könntest du auf die neueste CPU-Generation zurückgreifen (aktuell also noch IvyBridge, demnächst Haswell), während du bei deinen aktuellen Anforderungen auf Xeon E5 setzen musst, die es aktuell noch "nur" als SandyBridge gibt, IvyBridge Xeon E5 kommen erst voraussichtlich in Q3/13. Das kostet also Geld, Leistung und Strom - dafür kannst du aber eben auch auf 64GB statt 32GB RAM setzen.
Ansonsten kann ich mich den Empfehlungen hier anschließen. Ein Supermicro-Board im ATX-Formfaktor sollte dein Ziel werden, dazu einen Xeon E3 (wenn 32GB RAM max) oder einen Xeon E5 (wenn >32GB RAM gefordert) und eben die entsprechende Menge RAM. Wenn du keine großartige Grafikausgabe brauchst, würde ich eins mit "IPMI" zur Fernwartung nehmen. Das funktioniert noch etwas besser für den Servereinsatz als Intels "AMT".
Da du 13 SATA-Ports nicht auf einem Xeon-E3-Mainboard bekommen wirst, brauchst du da noch einen weiteren Controller. Kann da sehr den IBM M1015 empfehlen. Der ist (abgesehen vom Platinenlayout) identisch mit dem LSI 9211-8i und daher lässt sich die Firmware mit einem Trick mit der vom LSI 9211-8i ersetzen. Dann hat man einen Controller mit hervorragenden Eigenschaften zum Top-Preis und bekommt 8 weitere Ports dazu. Mit SAS-Expander gehen noch mehr, aber dann würde ich glaube ich lieber einen zweiten M1015/9211-8i nachstecken, das ist günstiger. Bei LSI ist die Unterstützung unter diversen Betriebssystemen auch immer super.
Hier mal zwei Konfigurationen, die ich empfehlen würde:
Konfig. "Xeon E3/Sockel 1155/max. 32GB RAM/IvyBridge/ATX":
- Mainboard: Supermicro X9SCA-F (Sockel 1155) - 172€
- CPU: Intel Xeon E3-1220V2, 4x3,1-3,5GHz IvyBridge 69W TDP - 178€
- RAM: Kingston ValueRAM 32GB PC3-12800E ECC CL11 (DDR3-1600) - 255€
- Controller: IBM M1015 - 123€ (umflashen auf LSI 9211-8i, oder gleich LSI 9211-8i kaufen, kostet 205€)
- Kabel: SFF8087 auf 4x SATA, 2 Stück - zusammen ca. 20€
=748€ zzgl. HDDs, ein paar normalen SATA-Kabeln, Netzteil, Gehäuse und Lüftern
Konfig. "Xeon E5/Sockel 2011/über 32GB RAM/SandyBridge/ATX":
- Mainboard: Supermicro X9SRi-3F (Sockel 2011) - 273€
- CPU: Intel Xeon E5-1620, 4x3,6GHz SandyBridge 130W TDP - 264€
- RAM: Kingston ValueRAM 16GB PC3-12800R reg ECC CL11 (DDR3-1600), 4 Stück (ergibt 64GB) - zusammen ca. 441€
- Controller: keiner benötigt, Mainboard hat schon 14 SATA-Ports. Gibt aber ein ziemliches Kabelgewirr
- Kabel: ausreichend SATA-Kabel. Sagen wir mal ca. 15€
=993€ zzgl. HDDs, evtl. ein paar weiteren Kabeln, Netzteil, Gehäuse und Lüftern
Die Konfiguration Nummer 1 ist vermutlich deutlich stromsparender. Konfiguration 2 lässt sich dafür eben auf 64GB RAM und auch noch mehr bringen.
Hast du schon ein Gehäuse? Ansonsten schau dir mal das LianLi A76 an. Allerdings ein verdammt großes Teil! Dafür aber eben auch entsprechend geräumig. Habe gerade eines hier stehen. Sieht für deinen Zweck super aus. ATX Mainboard passt locker rein, 12x 3,5" HDD-Slots entkoppelt (Optional mit HotSwap-Backplane), 3x 2,5" HDD Slots, 2x5,25" (da kannst du auch optional nochmal 3x3,5" reinpacken mit Adapter). Kostet aber knapp 200€, gedämmt ca. 230€. Alternativ wäre vielleicht die Kombination eine Idee, die mein Kumpel nutzt. Das "MS-TECH CA-0210 Rev. B" hat 9x5,25" Einschübe vorne. Da kann man dann 4x Adapter von 5,25" auf 3x3,5" einbauen und kommst so auch auf 1x5,25" + 12x3,5" Slots bei deutlich kleineren Gehäuseabmessungen und noch einfacherem HotSwap. Dafür ist das Ding aber billiger verarbeitet und deutlich lauter.
Netzteil kann ich die von BeQuiet empfehlen. Schau dir mal die E9-Serie an. Denke das "BeQuiet Straight Power E9 480W CM" könnte was für dich sein. Habe ich selbst auch. Kostet ca. 83€.
Zu CPU-Kühler und Lüftern enthalte ich mich jetzt erstmal, da kann man sich später noch drum kümmern
Ach ja, zu den HDDs noch: Nimm 5x00rpm-Platten. Keine 7200er. Den Geschwindigkeitsunterschied merkst du in einem solchen NAS eh nie, dafür ziehen die 7200er aber eine Ecke mehr Strom, was sich im Dauerbetrieb deutlich bemerkbar macht. Lauter sind sie auch, aber das ist dir ja vermutlich relativ egal.
