CPU und Mainboard für NAS gesucht

Flatterlight

New member
Registriert
21 Okt. 2012
Beiträge
257
Hallo,

ich will meinen Server als Storage Rechner umbauen. Und bin auf der Suche nach passender Hardware.
Anforderungen:

  • OS: FreeNAS vom USB Stick oder SSD gebootet
  • viele SATA 3/SAS Ports (benötige 13)
  • RAM: idealerweise 64GB EEC(ZFS, deduplication)
  • CPU: AES Coprozessor -> crypto in Hardware (stromsparend ;) )
  • Boardformfaktor: ATX/M-ATX

Freue mich über Tipps und Hinweise. :)

​Flatterlight
 
Zuletzt bearbeitet:

Leah

New member
Registriert
6 Jan. 2007
Beiträge
267
Da wirst du mit hoher Wahrscheinlichkeit im Consumer-Bereich nichts finden. Und im Formfaktor ATX/mATX erst recht nichts.

Wie viele TB Bruttokapazität soll dein NAS haben?

da du 13 Ports möchtest, gehe ich von 1x System und 12x Datengrab aus. 12x4TB mach 48TB. Bei so einem Brummer würde ich dir lieber zu einer kommerziellen Version raten und nicht zu einem FreeNAS Eigenbau. Der Anlaufstrom der Festplatten ist da nicht zu verachten. Hier wird sicher staggered spin-up nötig sein.

Hast du dir schonmal das QNAP TS-EC1679U-RP angesachaut? Da hast du auch noch ein wenig Puffer nach oben
 

Flatterlight

New member
Themenstarter
Registriert
21 Okt. 2012
Beiträge
257
Hi,
mir ist schon klar das ich mit diesen Anforderungen aus dem Consumer-Bereich raus bin und bei Server Hardware lande..

Der Preis für das vorgeschlagene NAS ist mit 5,2k (lt. Amazon) ohne Platten doch ziemlich hoch! Der Rechner existiert schon, so dass ich den Umbauen kann, außerdem Habe ich kein Rack -> wohin damit??

​Flatterlight
 

Leah

New member
Registriert
6 Jan. 2007
Beiträge
267
wieviel TB möchtest du denn eigentlich insgesamt?
Man soll bei deduplication pro TB ca 5GB RAM für die Table haben. Bei 64GB wären dann also nur 12TB an HDDs sinnvoll.
Hierfür gibts wiederum ATX boards mit 7-8 sATA anschlüssen. Wär das nicht was für dich?

Biespiel: SuperMicro X9SRH-7F
 
Zuletzt bearbeitet:

Flatterlight

New member
Themenstarter
Registriert
21 Okt. 2012
Beiträge
257
Zuletzt bearbeitet:

Leah

New member
Registriert
6 Jan. 2007
Beiträge
267
beim ram geb ich dir nur zum teil recht. bei deduplication was du als feature gewünscht hast:
http://doc.freenas.org/index.php/Hardware_Recommendations#RAM
'If you plan to use ZFS deduplication, a general rule of thumb is 5 GB RAM per TB of storage to be deduplicated.'

Die 500GB Platte würde ich ganz weglassen, die passt so wie so nicht ins raidset.
Das mit Raid-Z solltest du nochmal überlegen. Das ist meines Erachtens für den Hausgebrauch nicht geeignet. Was spricht gegen RAID5?
Datensicherheit hast du bei beiden nicht wirklich.

Warum möchtest du mit 2 kleinen raidsets arbeiten, anstatt mit einem großen?



 

Flatterlight

New member
Themenstarter
Registriert
21 Okt. 2012
Beiträge
257
@Leah
Raid-z1 ist doch wie RAID5

Ich könnte natürlich auch alle Platten als ein Verbund machen...
Wenn mir ein Raid-z flöten geht (aus irgend einem Grund, :an den Haaren herbei zieh:), ist das schon sch.... deswegen wollte ich die Platten in mehreren Raid-z verbünde aufteilen.
Kann natürlich auch aus den 2TB x 3 auch 2TB X 4 machen und auf Raid-z2 gehen.

Was würdest du empfehlen?
​Flatterlight
 

Leah

New member
Registriert
6 Jan. 2007
Beiträge
267
ich persönlich würde einen Hardware Raid5 machen, da RaidZ eine Software Lösung ist. Aber wenn es dir gefällt, kannst du das natürlich machen - ist halt einfach Geschmackssache.

Über den Raidlevel lässt sich natürlich tagelang streiten, aber ich selbst nutze einen ext3 RAID5 aus 4x2TB + 1x2TB Hot Spare. Mir ist schonmal eine HDD gestorben, und die HotSpare
hat anstandslos die Arbeit übernommen und die tote Platte wurde abgeschalten.
Heutzutage könnte man natürlich selbiges auch mit 3TB oder 4TB aufbauen.

Eine Empfehlung kann man nur schwer abgeben. Denn Datensicherheit ist beim raid so wie so nicht gegeben. Da hilft nur ein sauberes backup.
auf deduplication würde ich jedenfalls verzichten, das frisst im Hausgebrauch nur RAM ohne wirklichen Nutzen.
 

Flatterlight

New member
Themenstarter
Registriert
21 Okt. 2012
Beiträge
257
@leah
beim Hardwareraid hat man die Controllerproblematik, bei einem Softwareraid ist das "nur" Software...

Das Hotspare würde bei mir die zusätzlichen Platten im Gehäuse lösen, kann man von überall dazu konfigurieren.

Fehlt mir immernoch MB & CPU..... :searching:

Die Platten kann ich auch via Controllerkarte ohne Raid anbinden.
Flatterlight
 

Leah

New member
Registriert
6 Jan. 2007
Beiträge
267
hast du das mainboard mal angeschaut, dass ich weiter oben gepostet habe?
 

Flatterlight

New member
Themenstarter
Registriert
21 Okt. 2012
Beiträge
257
Ja, habe ich. Das Board sieht gut aus. gucke noch nach Alternativen (AMD)

Flatterlight
 

IronEagle

Active member
Registriert
17 Juni 2006
Beiträge
3.013
Muessen die Ports denn zwingend onboard sein? 8 Port SAS Controller gibts ja recht guenstig, und die kann man oft auch als "dumme" JBOD Adapter verwenden, die die Platten 1:1 durchreichen.
 

Flatterlight

New member
Themenstarter
Registriert
21 Okt. 2012
Beiträge
257
@IronEagle Nein die SAS Ports müssen nicht onboard sein, wie schon geschrieben, würde ich auch ne' Controllerkarte einbauen.

Flatterlight
 

IronEagle

Active member
Registriert
17 Juni 2006
Beiträge
3.013
Ah :) Hatte ich uebersehen, sorry. Besondere Ansprueche was eine Onboard-NIC angeht, und wie wichtig ist es Serverhardware (primaer waere der Fokus dabei wohl ECC-Speicher) zu bekommen?

Wenn ein dedizierter Controller eine Option ist, dann wird die Auswahl ja direkt riesig. AES-NI in Hardware ist nice to have, aber ob es soviel Energie spart wage ich mal zu bezweifeln. Mein i3 ist auch ohne das schnell genug um Gigabit-Ethernet komplett zu fuellen (Software-Raid5, 5 Disks, SATA, 5400rpm, LVM und DM_Crypt), ohne ins schwitzen zu kommen.

Ich persoenlich baue gerade beim Backup-NAS neu auf, und werde wohl bei einem ASRock FM2A85X-ITX mit AMD A4-5300 landen. Vor ner Woche haette ich noch gesagt "geht mir weg mit AMD", aber so das Paket aus dem Board mit der CPU sieht nett aus.

Die CPU bringt offenbar die gleiche Leistung wie ein Celeron 1610 (Preisgleich), bringt aber dafuer AES-NI mit. Das Board hat 7 SATA (und 1 ESATA, Portmultiplier faehig), direkt im Chipsatz. Nachteile: Realtek NIC (haette aber ne Intel-Loesung in der Preisklasse auch), und hoeherer Stromverbrauch unter Vollast (der Server wird mehr Idlen als alles andere, insb. dann mit AES-NI).
 
Zuletzt bearbeitet:

cuco

Moderator
Teammitglied
Registriert
1 Dez. 2011
Beiträge
6.516
Hui mir kommt es so vor, als wenn hier viele Leute schreiben, die ein solches System in der Praxis noch nie benutzt haben und sich lediglich auf Aussagen quer Beet aus dem Netz berufen. Ich kommentiere mal ein paar davon mit meinen Erfahrungen aus der "Praxis" - habe ja ein solches System im Einsatz, siehe Signatur. Die nächste Aufrüstung in Sachen Speicherkapazität steht auch gerade an.

Da wirst du mit hoher Wahrscheinlichkeit im Consumer-Bereich nichts finden. Und im Formfaktor ATX/mATX erst recht nichts.
Deutlich über 10 SATA-Ports findet man ziemlich sicher auf keinem normalen Board. Im Serverbereich werden dann eher mehr PCIe-Slots bereitgestellt, in die man seine SATA/SAS/RAID-Controller steckt. Wobei es auch Boards mit Onboard-SAS-Controllern gibt, die dann evtl. in diese Größenordnungen kommen. 14 Ports findet man dann aber noch - wobei es ein ganz schönes Kabelgewirr gibt, wenn man 14 SATA-Kabel auf einem Mainboard befestigt. SAS zu 4 Port SATA Kabel entwirren das ganze doch sehr.
Naja, Consumer-Hardware scheidet aber eh schon durch die Anforderung an ECC-RAM aus.
da du 13 Ports möchtest, gehe ich von 1x System und 12x Datengrab aus. 12x4TB mach 48TB. Bei so einem Brummer würde ich dir lieber zu einer kommerziellen Version raten und nicht zu einem FreeNAS Eigenbau. Der Anlaufstrom der Festplatten ist da nicht zu verachten. Hier wird sicher staggered spin-up nötig sein.
Och der Anlaufstrom geht. Laut Internet zieht eine Platte maximal ca. 22W beim Anlaufen. Das wären bei 13HDDs knapp 290W. Meine Erfahrung ist, dass der Wert eher so bei 13-15W liegt. Das wären unter 200W beim Anlaufen. Das macht wohl jedes normale Netzteil mit, man setzt ja schließlich keine PicoPSU oder so in einen solchen Storage-Server.

Über den zu erwartenden Stromverbrauch und vor allem Lärm bist Du Dir sicherlich im Klaren, oder ?
Im Wohnzimmer wirst Du sowas jedenfalls nicht betreiben können
Einspruch :) Mit leisen Lüftern, Entkoppelung der HDDs und im gedämmten Gehäuse bekommt man einen solchen Rechner flüsterleise. Ich habe meine Workstation/NAS in meinem Zimmer stehen, in dem ich auch schlafe. Ich bin sehr empfindlich, was Geräusche beim Schlafen angeht, aber mein Server ist leiser als mein T500 (und da hört man dank SSD schon nur den leisen Lüfter). Auch den Stromverbrauch kann man ganz gut in den Griff bekommen. Wenn ich meine HDDs in den Standby lege und der Rest mit geringer Last vor sich hin idlet, komme ich ganz knapp auf unter 40W. Wenn meine 8 HDDs + 3 SSDs an sind und der PC eine normale Grundlast hat, komme ich auf 70-75W. Erst wenn die CPU wirklich mal (auch auf mehreren Kernen) gefordert wird, steigt der Stromverbrauch auf über 100W.

Dann vergiß das Wärmeproblem nicht. In einer unbelüfteten kleinen Abstellkammer ohne Fenster kann sich das sehr schnell aufheizen, besonders im Sommer.
Da erwähne ich nochmal die Werte von hier drüber. Da entsteht weniger Wärme als ein Mensch abgibt (80W in Ruhe, 200W bei leichter Bewegung). Wenn das Ding also nicht in 1-2m³ gequetscht wird, also einen Schrank der kaum größer ist als das PC-Gehäuse, dann wird man mit einem solchen Setup noch nicht schnell Probleme bekommen.

Die 500GB Platte würde ich ganz weglassen, die passt so wie so nicht ins raidset.

Richtig, ich verstehe auch nicht, wofür die sein soll. Oder fürs Betriebssystem?
Das mit Raid-Z solltest du nochmal überlegen. Das ist meines Erachtens für den Hausgebrauch nicht geeignet. Was spricht gegen RAID5?

Hm? RAID-Z ist doch einfach nur die Implementierung eines RAID5 auf Dateisystemebene. Der Effekt ist der gleiche. Dein Argument "Hausgebrauch" spricht weder für RAID5 noch für RAID-Z...

Datensicherheit hast du bei beiden nicht wirklich.

Das stimmt. RAID erhöht eben nur die Datenverfügbarkeit, nicht die Datensicherheit. Das können nur Backups. Aber ich denke/hoffe, das ist Flatterlight klar. Sonst baut man kein solches System...

Warum möchtest du mit 2 kleinen raidsets arbeiten, anstatt mit einem großen?

Da kann ich auch nur uneingeschränkt zustimmen. Sehe da keinen Vorteil. Eher im Gegenteil. Erstens verschenkst du Plattenplatz und zweitens kannst du lieber ein größeres RAID mit doppelter Parität (RAID-Z2 oder RAID6) nehmen, das erhöht die Datensicherheit insgesamt mehr als zwei RAID5/Z einzusetzen.

ich persönlich würde einen Hardware Raid5 machen, da RaidZ eine Software Lösung ist. Aber wenn es dir gefällt, kannst du das natürlich machen - ist halt einfach Geschmackssache.
Ob Hardware- oder Software-RAID, da scheiden sich die Geister. Beides hat seine Vor- und Nachteile. Eigentlich gibt es ja auch gar kein Hardware-RAID. Jede Implementierung ist ein Software-RAID. Die Frage ist immer nur, wo diese Software läuft. Im Betriebssystem auf der CPU oder auf einer eigenen CPU auf einem RAID-Controller? Vorteile von Hardware-RAID sind eben diese Eigenständigkeit und daher auch keine Performanceverluste durch Belastung der CPU im Rechner. Meiner Meinung nach ist man aber mit Software-RAID deutlich flexibler. Man kann auch Platten kombinieren, die zum Teil an einem Controller und zum Teil am Mainboard hängen und im Falle des unwahrscheinlichen Komplettausfalls hat man viel mehr Möglichkeiten, das RAID doch noch wieder zusammenzusetzen. Ich bin daher eher ein Fan von Software-RAID auf Betriebssystem-Ebene (RAID-Z unter ZFS oder mdadm unter Linux). Die Implementierungen sind auch absolut stabil, da muss man sich keine Gedanken mehr drum machen.

Über den Raidlevel lässt sich natürlich tagelang streiten, aber ich selbst nutze einen ext3 RAID5 aus 4x2TB + 1x2TB Hot Spare. Mir ist schonmal eine HDD gestorben, und die HotSpare
hat anstandslos die Arbeit übernommen und die tote Platte wurde abgeschalten.
Im Homeserver/NAS-Thread hier im Forum haben wir schon mal ausführlich Infos zusammengetragen (zum Teil auf Basis eines Artikels aus der c't), warum bei heutigen Festplattengrößen eine doppelte Parität absolut zu empfehlen ist und man daher nach Möglichkeit RAID6 statt RAID5 bzw. RAID-Z2 statt RAID-Z1 einsetzen sollte. In Kurzform die Zusammenfassung der Begründung: HDDs bekommen immer mehr Speicherkapazität, die statistische Wahrscheinlichkeit dass ein Sektor fehlerhaft gelesen wird, ist aber ungefähr gleich geblieben. Dadurch steigt die Wahrscheinlichkeit, dass beim Rebuild eines Arrays ein Sektor fehlerhaft "gerebuildet" wird, stark an. Die Wahrscheinlichkeit, bei wenigen (unterer einstelliger Bereich, genaues müsste ich jetzt erst nachschauen) Rebuilds einen solchen Fall zu haben, ist sehr hoch. Wenn man Glück hat, war das ein eh leerer Sektor und man bekommt es gar nicht mit. Oder ein Sektor, von dem man später nie wieder was merkt. Wenn man Pech hat, zerreißt es einem dann aber gerade eine wichtige Datei oder die RAID-Implementierung merkt es und schmeißt noch eine zweite Platte aus dem RAID, was in einem RAID mit nur einer Parität (RAID5/Z) natürlich "tödlich" ist. Ergo: Nimm doppelte Parität!

So und nun gehe ich nochmal auf deinen Startpost ein:
Hallo,

ich will meinen Server als Storage Rechner umbauen. Und bin auf der Suche nach passender Hardware.
Anforderungen:

  • OS: FreeNAS vom USB Stick oder SSD gebootet
  • viele SATA 3/SAS Ports (benötige 13)
  • RAM: idealerweise 64GB EEC(ZFS, deduplication)
  • CPU: AES Coprozessor -> crypto in Hardware (stromsparend ;) )
  • Boardformfaktor: ATX/M-ATX

Freue mich über Tipps und Hinweise. :)

​Flatterlight
Müssen es wirklich 64GB RAM sein? Wenn die Formel passt (mit ZFS habe ich noch kaum Erfahrungen), dann reichen dir aktuell bei ca. 12TB ja schon ca. 12GB RAM für die Deduplizierung. Dann könntest du auch eine Nummer kleiner nehmen, z.B. mit Intel C204/C206/C216-Chipsatz, Xeon E3 und 32GB ECC-RAM. Außerdem könntest du auf die neueste CPU-Generation zurückgreifen (aktuell also noch IvyBridge, demnächst Haswell), während du bei deinen aktuellen Anforderungen auf Xeon E5 setzen musst, die es aktuell noch "nur" als SandyBridge gibt, IvyBridge Xeon E5 kommen erst voraussichtlich in Q3/13. Das kostet also Geld, Leistung und Strom - dafür kannst du aber eben auch auf 64GB statt 32GB RAM setzen.

Ansonsten kann ich mich den Empfehlungen hier anschließen. Ein Supermicro-Board im ATX-Formfaktor sollte dein Ziel werden, dazu einen Xeon E3 (wenn 32GB RAM max) oder einen Xeon E5 (wenn >32GB RAM gefordert) und eben die entsprechende Menge RAM. Wenn du keine großartige Grafikausgabe brauchst, würde ich eins mit "IPMI" zur Fernwartung nehmen. Das funktioniert noch etwas besser für den Servereinsatz als Intels "AMT".
Da du 13 SATA-Ports nicht auf einem Xeon-E3-Mainboard bekommen wirst, brauchst du da noch einen weiteren Controller. Kann da sehr den IBM M1015 empfehlen. Der ist (abgesehen vom Platinenlayout) identisch mit dem LSI 9211-8i und daher lässt sich die Firmware mit einem Trick mit der vom LSI 9211-8i ersetzen. Dann hat man einen Controller mit hervorragenden Eigenschaften zum Top-Preis und bekommt 8 weitere Ports dazu. Mit SAS-Expander gehen noch mehr, aber dann würde ich glaube ich lieber einen zweiten M1015/9211-8i nachstecken, das ist günstiger. Bei LSI ist die Unterstützung unter diversen Betriebssystemen auch immer super.

Hier mal zwei Konfigurationen, die ich empfehlen würde:
Konfig. "Xeon E3/Sockel 1155/max. 32GB RAM/IvyBridge/ATX":
- Mainboard: Supermicro X9SCA-F (Sockel 1155) - 172€
- CPU: Intel Xeon E3-1220V2, 4x3,1-3,5GHz IvyBridge 69W TDP - 178€
- RAM: Kingston ValueRAM 32GB PC3-12800E ECC CL11 (DDR3-1600) - 255€
- Controller: IBM M1015 - 123€ (umflashen auf LSI 9211-8i, oder gleich LSI 9211-8i kaufen, kostet 205€)
- Kabel: SFF8087 auf 4x SATA, 2 Stück - zusammen ca. 20€
=748€ zzgl. HDDs, ein paar normalen SATA-Kabeln, Netzteil, Gehäuse und Lüftern

Konfig. "Xeon E5/Sockel 2011/über 32GB RAM/SandyBridge/ATX":
- Mainboard: Supermicro X9SRi-3F (Sockel 2011) - 273€
- CPU: Intel Xeon E5-1620, 4x3,6GHz SandyBridge 130W TDP - 264€
- RAM: Kingston ValueRAM 16GB PC3-12800R reg ECC CL11 (DDR3-1600), 4 Stück (ergibt 64GB) - zusammen ca. 441€
- Controller: keiner benötigt, Mainboard hat schon 14 SATA-Ports. Gibt aber ein ziemliches Kabelgewirr
- Kabel: ausreichend SATA-Kabel. Sagen wir mal ca. 15€
=993€ zzgl. HDDs, evtl. ein paar weiteren Kabeln, Netzteil, Gehäuse und Lüftern

Die Konfiguration Nummer 1 ist vermutlich deutlich stromsparender. Konfiguration 2 lässt sich dafür eben auf 64GB RAM und auch noch mehr bringen.

Hast du schon ein Gehäuse? Ansonsten schau dir mal das LianLi A76 an. Allerdings ein verdammt großes Teil! Dafür aber eben auch entsprechend geräumig. Habe gerade eines hier stehen. Sieht für deinen Zweck super aus. ATX Mainboard passt locker rein, 12x 3,5" HDD-Slots entkoppelt (Optional mit HotSwap-Backplane), 3x 2,5" HDD Slots, 2x5,25" (da kannst du auch optional nochmal 3x3,5" reinpacken mit Adapter). Kostet aber knapp 200€, gedämmt ca. 230€. Alternativ wäre vielleicht die Kombination eine Idee, die mein Kumpel nutzt. Das "MS-TECH CA-0210 Rev. B" hat 9x5,25" Einschübe vorne. Da kann man dann 4x Adapter von 5,25" auf 3x3,5" einbauen und kommst so auch auf 1x5,25" + 12x3,5" Slots bei deutlich kleineren Gehäuseabmessungen und noch einfacherem HotSwap. Dafür ist das Ding aber billiger verarbeitet und deutlich lauter.

Netzteil kann ich die von BeQuiet empfehlen. Schau dir mal die E9-Serie an. Denke das "BeQuiet Straight Power E9 480W CM" könnte was für dich sein. Habe ich selbst auch. Kostet ca. 83€.

Zu CPU-Kühler und Lüftern enthalte ich mich jetzt erstmal, da kann man sich später noch drum kümmern :)

Ach ja, zu den HDDs noch: Nimm 5x00rpm-Platten. Keine 7200er. Den Geschwindigkeitsunterschied merkst du in einem solchen NAS eh nie, dafür ziehen die 7200er aber eine Ecke mehr Strom, was sich im Dauerbetrieb deutlich bemerkbar macht. Lauter sind sie auch, aber das ist dir ja vermutlich relativ egal.
 
Zuletzt bearbeitet:

Flatterlight

New member
Themenstarter
Registriert
21 Okt. 2012
Beiträge
257
@IronEagle
min. 2 NIC's zum Bündeln
Der Fokus liegt auf der Haltbarkeit der Hardware, möchte nicht als so bald neue Hardware kaufen müssen und EEC Speicher, ist natürlich super.
Welche i3 hast du in deinem Server verbaut?

Flatterlight
 

martina

Active member
Registriert
29 März 2010
Beiträge
3.466
Wo gerade der IBM ServeRaid M1015 erwähnt wurde: Ich schaue morgen mal nach, von dem müsste ich noch ein paar im Schrank "übrig" liegen haben ;)
 
  • thinkstore24.de
  • Preiswerte-IT - Gebrauchte Lenovo Notebooks kaufen
Oben