Sammelthread: Eigenbau NAS / Heimserver / Storagesysteme

I

IronEagle

Active member
Themenstarter
Registriert
17 Juni 2006
Beiträge
3.027
Da mein "9 TB NAS"-Verkaufsthread zu vielen Fragen und fachlichen Diskussionen gefuehrt hat mache ich mal diesen Thread hier auf :-) Ich hoffe auf regen Erfahrungsaustausch, und stelle als erstes mal meinen aktuellen "SOHO" Storageserver vor:

http://cyberdelia.de/computer/darkland.html

Derzeit 10 TB Brutto-Kapazitaet mit Luft nach oben, bei ausgezeichneten Leistungsdaten/Energieeffizienz. Zu einem Preis mit dem QNAP und co kaum mithalten koennen :-)

Als Backup-Server habe ich gestern einen HP N36L bestellt, und berichte sobald ich ihn eingerichtet habe.


Die letzte unbeantwortete Frage im Verkaufsthread war wie ich das Thema "Passwort-Eingabe fuers verschluesselte Raid" geloest habe: ganz simpel eigentlich - das eigentliche OS bootet ganz normal von der SSD. Da kann ich mich dann einloggen und starte ein kleines Script was das dmcrypt aktiviert, lvm rescan macht und die Volumes dann mounted.
 
Zuletzt bearbeitet:
Ich hatte mit der default-smb.conf die Arch Linux ausliefert 60-70 MB / Sec. Nach einiger Recherche habe ichs dann mit "socket options = IPTOS_LOWDELAY SO_RCVBUF=65536 SO_SNDBUF=65536" probiert, und sofort war ich am Limit von Gigabit, sprich knapp ueber 100MB/Sec.

Einen i7 halte ich fuer nen Home-Server fuer argen overkill, Gameserver und Raid6 hin oder her :-) Aber idle zieht der ja kaum mehr als der i3.

Zum Thema "CPU-Geschwindigkeit und Raid", hier mal die Meldungen die Linux auf dem i3-2100T beim starten auswirft:

[ 2.729644] raid6: int64x1 2374 MB/s
[ 2.786223] raid6: int64x2 2992 MB/s
[ 2.842815] raid6: int64x4 2493 MB/s
[ 2.899386] raid6: int64x8 1993 MB/s
[ 2.955968] raid6: sse2x1 6225 MB/s
[ 3.012552] raid6: sse2x2 8220 MB/s
[ 3.069135] raid6: sse2x4 9254 MB/s
Zum Vergrößern anklicken....

CPU fuer Raid ist also auch bei Raid6 gar kein Thema mehr. selbst in der langsamsten Variante knapp 20*schneller als Gigabit Ethernet, oder anders betrachtet: wenn man im Schnitt von 100MB pro Platte ausgeht braeuchte ich nen Raid mit 20 HDDs um die CPU auszulasten. Und das wohlgemerkt bei der langsamsten Variante. Mit dem sse2 Algo siehts noch deutlicher aus.
 
Zuletzt bearbeitet:
So, ich bin wieder am basteln bzw. planen. Hehe ;)


Zum einen musste ich feststellen, dass mein SAS-HBA eine 2TB-Begrenzung hat und sich zudem seltsamer Weise mit einer meiner Samsung-Platten so überhaupt nicht verstehen will. Finde ich komisch, da die zwei anderen Platten aus der Serie anstandslos laufen. Stecker- bzw. Kabeltausch hat das Problem nicht behoben. Jetzt hängt die Platte einfach am MoBo. Vorerst eine Lösung. Wobei ich weder Platte noch HBA so recht vertrauen möchte. Sämtliche Firmware ist übrigens auf dem neusten Stand. Dem HBA habe ich sogar die internen RAID-Funktionen entzogen (von Integrated-RAID auf Initator-Target) um sicher zu gehen, dass da nicht irgendwie stört. Bevor ich jetzt aber noch mehr Anstrengungen an diesem Controller verschwende, habe ich mir gedacht, mir dort etwas besseres und auch 3TB-taugliches zu besorgen und dachte darüber nach: LSI SAS 9211-8i ( http://www.lsi.com/products/storagecomponents/Pages/LSISAS9211-8i.aspx )
Angeblich - laut Internet - verbaut Sun den HBA auch in einigen ihrer Server. Von daher bin ich guter Dinge, dass die Qualität stimmt.

Hat jemand mit dem LSI SAS 9211-8i Erfahrungen gemacht, oder kann mir etwas anderes empfehlen?


Ebenso tendiere ich dazu, das Motherboard und CPU zu tauschen. Moment frisst die Kiste 60W, wenn alle Platte abgeklemmt sind. Sprich: MoBo, CPU und SAS-HBA. Ziemlich viel - finde ich. Wenn ich dort jetzt auf 30W käme, würde ich Jahr etwa 50€ Strom sparen. Okay - das braucht dann vier Jahre um sich zu amortisieren. Aber ich habe ja auch noch den Vorteil, dass ich endlich Gigabit auslasten kann. Und: Würde ich etwa Q67-mäßiges nehmen, könnte ich auch gescheiter fernwarten. Wichtig, da ich im kommenden Jahr wohl für ein halbes Jahr in den USA sein werde - wenn alles glatt läuft. Und weil ich mit dem Server Geld verdiene wäre mir eine umfassende Fernwartungsmöglichkeit ganz viel wert. Weiß jemand, ob die Q67-Boards wesentlich mehr fressen, als das von IronEagle vorgestellte Intel DB65AL?


Ach ja, @IronEagle: Die von die geposteten Geschwindigkeiten sind nur zur Berechnung des einen Teils der Checksumme. Der andere Teil wird einfach wie bei RAID5 via XOR berechnet. Der Kernel dürfte wenige Zeilen später auch die Geschwindigkeit für diese Berechnung ausspucken; und die dürfte auch wesentlich höher sein ;) Nichts desto trotz ist es unglaublich schnell!


Grüße
Jue

Edith sagt: Ouh, Tippfehler hat alles sinnentstellt. Behoben.
 
Zuletzt bearbeitet:
jue schrieb:
So, ich bin wieder am basteln bzw. planen. Hehe ;)
Zum Vergrößern anklicken....
Tja es lässt einen einfach nie los, was? ;)


jue schrieb:
LSI SAS 9211-8i ( http://www.lsi.com/products/storagecomponents/Pages/LSISAS9211-8i.aspx )
Angeblich - laut Internet - verbaut Sun den HBA auch in einigen ihrer Server. Von daher bin ich guter Dinge, dass die Qualität stimmt.

Hat jemand mit dem LSI SAS 9211-8i Erfahrungen gemacht, oder kann mir etwas anderes empfehlen?
Zum Vergrößern anklicken....
das wäre echt interessant. Mein Areca läuft zwar super, aber das war ja nur eine Speziallösung, weil es der einzige Controller mit x1-Anbindung und 8 Ports war. Gerade für mehr Ports könnte für mich in Zukunft ja auch ein neuer Controller in Frage kommen. Und da ich die RAID-Funktionalität ja gar nicht brauche, wäre ein Areca für 400-800€ nur overkill. Außerdem hab ich inzwischen ja auch einen x16-Slot und daher nicht mehr das x1-Problem ;)

jue schrieb:
Ebenso tendiere ich dazu, das Motherboard und CPU zu tauschen. Moment frisst die Kiste 60W, wenn alle Platte angeklemmt sind. Sprich: MoBo, CPU und SAS-HBA. Ziemlich viel - finde ich. Wenn ich dort jetzt auf 30W käme, würde ich Jahr etwa 50€ Strom sparen.
Zum Vergrößern anklicken....
Ich hab ja leider keine Vergleichswerte von vorher, aber bei ähnlicher Konfiguration wie dein Server komme ich mit meiner Kiste ja auch momentan auch ca. 60W mit allen Platten im Betrieb und 45W mit ein paar (nicht allen) Platten im "Standby". Ich glaube also nicht, dass du auf 30W kommst. Wäre ein Traumwert, aber wird wohl hart ;)

jue schrieb:
Und: Würde ich etwa Q67-mäßiges nehmen, könnte ich auch gescheiter fernwarten.
Zum Vergrößern anklicken....
Jooaaar. Intel AMT ist schon eine super Sache, mit dem integrierten VNC-Server onboard ist es natürlich schon (fast) ein Traum ;-) Aber es ist nicht alles Gold was glänzt. Der VNC-Server kann zwar alles übertragen, ich hab sogar schon ein BIOS-Update via dem AMT-VNC-Server durchgeführt, aber es gibt immer wieder Probleme, weil ich keinen Monitor am Server hab. Und das VNC überträgt ja im Normalfall das Monitorbild. Wenn der Server erkennt, dass kein Monitor dran ist, deaktiviert es alle Ausgänge und schon ist VNC auch tot. Mit Ubuntu 10.04 und meinem "Monitordummy" aus ein paar Widerständen und Drahtbrücken, die einen VGA-Monitor mit 1024x768 Pixel simulieren, funktioniert es einigermaßen zuverlässig. Gelegentlich schmiert der (übrigens schweineteuere) Client immer noch ab. Bei einem Test unter Ubuntu 12.04 schien der Monitordummy aber nicht mehr akzeptiert zu werden.

jue schrieb:
Wichtig, da ich im kommenden Jahr wohl für ein halbes Jahr in den USA sein werde - wenn alles glatt läuft.
Zum Vergrößern anklicken....
Ah cool, du jetzt auch? Ich komm demnächst nochmal bei dir vorbei, dann musst du mir unbedingt mehr erzählen. Und zwar noch jetzt im Februar oder März. Sonst bin ICH ja eines halbes Jahr weg - aber andere Richtung. Australien...
 
cuco schrieb:
Ich hab ja leider keine Vergleichswerte von vorher, aber bei ähnlicher Konfiguration wie dein Server komme ich mit meiner Kiste ja auch momentan auch ca. 60W mit allen Platten im Betrieb und 45W mit ein paar (nicht allen) Platten im "Standby". Ich glaube also nicht, dass du auf 30W kommst. Wäre ein Traumwert, aber wird wohl hart ;)
Zum Vergrößern anklicken....
Ich hatte die Platten schon ausgeklammert. Mit Platten frisst die Kiste aktuell 104W. Eine ganze Menge finde ich. Ich strebe also max. 30W ohne RAID bzw. 74W mit allem drum und dran an. Das sollte - denke ich - locker drin sein.

cuco schrieb:
Jooaaar. Intel AMT ist schon eine super Sache, mit dem integrierten VNC-Server onboard ist es natürlich schon (fast) ein Traum ;-) Aber es ist nicht alles Gold was glänzt. Der VNC-Server kann zwar alles übertragen, ich hab sogar schon ein BIOS-Update via dem AMT-VNC-Server durchgeführt, aber es gibt immer wieder Probleme, weil ich keinen Monitor am Server hab. Und das VNC überträgt ja im Normalfall das Monitorbild. Wenn der Server erkennt, dass kein Monitor dran ist, deaktiviert es alle Ausgänge und schon ist VNC auch tot. Mit Ubuntu 10.04 und meinem "Monitordummy" aus ein paar Widerständen und Drahtbrücken, die einen VGA-Monitor mit 1024x768 Pixel simulieren, funktioniert es einigermaßen zuverlässig. Gelegentlich schmiert der (übrigens schweineteuere) Client immer noch ab. Bei einem Test unter Ubuntu 12.04 schien der Monitordummy aber nicht mehr akzeptiert zu werden.
Zum Vergrößern anklicken....
Ich hab ja den großen Vorteil, dass ich tatsächlich einen Monitor dort stehen habe und keinen Dummy anschließen muss. Ich hoffe doch, dass das funktioniert. (Evtl. sogar noch mit KVM-Switch? ^^)

cuco schrieb:
Ah cool, du jetzt auch? Ich komm demnächst nochmal bei dir vorbei, dann musst du mir unbedingt mehr erzählen. Und zwar noch jetzt im Februar oder März. Sonst bin ICH ja eines halbes Jahr weg - aber andere Richtung. Australien...
Zum Vergrößern anklicken....
Noch nichts offizielles oder festes, aber ich habe mal die Fühler ausgestreckt und bereite mich vorsichtshalber mal drauf vor. Falls es nichts wird, hab ich plötzlich ganz viel Geld über, was ich dafür gespart habe ^^ Dann wirds kriminell mit meinem Home-Netzwerk. ^^


Grüße
Jue
 
Mal abgesehen von den Problemen wenn man keinen Monitor hat - kann man mit AMT auch den Rechner aus-/einschalten, also die Funktionalitaet die man mit Dells DRAC Karten, oder IBMs RSA-Adaptern (oder HPs ILOs) hat?
 
Kann man. In den alten Version von AMT (die ja kein VNC hatten) war das ja gerade eines der umwerfenden Features :)
 
Ich klinke mich jetzt auch mal ein.

Ich plane in naher Zeit meinen Desktop-PC abzulösen und durch mein Thinkpad zu ersetzen (Docking usw).

Um für die Zukunft gewappnet zu sein (Laptop von der Freundin, Fernsehr, Familie usw) wollte ich mir einen vernünftigen Server aufsetzen.

Server soll leisten:
- sichere Datenablage für alle. Wöchentliche Backups auf externe HDD der Benutzerdaten. (Samba, NFS, Applezeug)
- Medien bereitstellen (Filme, TV-Serien) (über DLNA, VLC Stream? Mythtv Stream (TV-Karte...))
- Ggf per Webdav o.ä. Zugriff von extern über das Internet
- ... usw?

Aus dem Desktop will ich die vorhandenen 4x 2TB WD Platten (Green, WD20EARX wenn ich mich richtig erinnere) behalten, einfach 4 weitere (gleiches Model) dazu packen und ein Software RAID6 (verschlüsselt) einrichten.
Nun habe ich aber gelesen, das der Typ Festplatte bei RAIDs Probleme bereiten kann, wegen der Stromsparfunktionen (z.B. ~10 sec hänger usw). Allerdings nur um Zusammenhang mit Hardware.RAID-Controllern.

Würdet Ihr mir von den Festplatten abraten? Würde ungern 400€ extra ausgeben, nur um alle Green's zu ersetzen.

Auf einen Hardware-RAID-Controller würde ich auch gerne verzichten, weil diese 1. relativ Teuer sind und 2. im Falle eines Defektes mir das ganze RAID zerschießen können. Deswegen würde ich mir ein Mainboard mit > 8 SATA-Anschlüßen zulegen. (Asus hat da ein P67 Mainboard...). Als Systemfestplatte würde ich einfach die 320GB aus meinem X220 nehmen, die noch nie gelaufen ist. CPU wird wohl ein i5 2500(k) mit 16GB RAM (kostet ja nix)

Ferner weiß ich noch nicht, ob mein RAID aufsetzen/verschlüsseln so okay ist (ohne VLM):
Code: 
fdisk -c -u /dev/sd* (n p 1 [E] [E] t fd w)
mdadm --create --verbose /dev/md0 --auto=yes --level=6 --raid-devices=8 /dev/sdb...
...
mdadm --detail /dev/md0
... warten ...
mdadm --detail --scan >> /etc/mdadm/mdadm.conf
modprobe dm-crypt
cryptsetup -c aes-xts-plain -s 512 luksFormat /dev/md0
cryptsetup luksOpen /dev/md0 data
mkfs.ext4 /dev/mapper/data
mount /dev/mapper/data /data

Nach dem Booten händisch einhängen oder automatisch?
Code: 
#!/bin/bash
cryptsetup luksOpen /dev/md0 data
mount /dev/mapper/data /data

Das testen des RAIDs verlief bis jetzt ohne Probleme (erweiteren, Festplatte löschen, recovern usw)

Ob ich das System ansich auch verschlüsseln will, weiß ich noch nicht, dafür sehe ich keinen Grund. Alle Daten sind verschlüsselt. Das einzige was unverschlüsselt wären, wäre ja dann nur das Linux-System, die Serverdienste und Konfigurationen und Log-Files.
 
Den Stromspar-Mechanismen der Platten kann man mit dem WDIDLE Tool entgegenwirken. Bei einem P67 Mainboard kannst du die integrierte Grafik der CPU nicht nutzen, von daher wuerde ich so ein Board eher nicht verwenden. Wenn es ein i5 sein soll wuerde ich ueberlegen nen "S" zu nehmen, auch wenn die sich idle nicht viel tun.

Mein Server macht grad massive Probleme, ab und an geht er einfach aus, die Onboard-NIC wird nicht mehr erkannt... Ich werde am WE mal "Standby"-Hardware in Betrieb nehmen und dann in Ruhe den Fehler suchen. Falls das Board hin ist ueberlege ich entweder auf ein Q67 Board + i5 zu gehen (wg. AMT), oder auf die Kombination C202 Board (Supermicro mit Fernwartungsfunktion), dem suessen 20W Xeon und ECC Memory... Alternativ hatte ich auch schon ueberlegt das Thema Storage doch auf ein kleines NAS auszulagern, aber die Ueberlegungen waren bei den Preisen fuer Systeme mit >4 HDDs direkt wieder gestorben...
 
@mini_knoxville:
Das "modprobe dm-crypt" kannst du dir evtl. sparen. Zumindest unter Ubuntu ist das Modul schon drin und geladen und braucht daher nicht extra geladen werden. Cryptsetup sollte auch installiert sein, evtl. halt noch kurz mit "apt-get install cryptsetup" nachhelfen. mdadm genau so installieren.

Zum automatischen Einbinden ist das eine Lösung. Alternative ist, das ganze in die crypttab und mtab einzubauen. Dann muss das PW direkt beim Start eingegeben werden. Das entschlüsseln/freischalten über SSH ist dann aber etwas komplizierter.

Willst du dein System selbst dann nicht besser auch mit verschlüsseln?
 
Bei meinem Debian Grundsystem waren mdadm und cryptsetup nicht installiert, deswegen musste ich das nach installieren und das Kernelmodul laden. Wenn ich das mit der crypttab usw mache, kann ich das System auch direkt mit verschlüsseln. Dafür muss ich aber, so wie ich es verstanden habe, im initrd eine SSH Shell aufreißen und den Input dann redirecten. Hast du dafür einen Link zur Hand?
 
nini_knoxville schrieb:
Bei meinem Debian Grundsystem waren mdadm und cryptsetup nicht installiert, deswegen musste ich das nach installieren und das Kernelmodul laden. Wenn ich das mit der crypttab usw mache, kann ich das System auch direkt mit verschlüsseln. Dafür muss ich aber, so wie ich es verstanden habe, im initrd eine SSH Shell aufreißen und den Input dann redirecten. Hast du dafür einen Link zur Hand?
Zum Vergrößern anklicken....

Falls du Entschlüsseln über SSH währends des Bootens meinst, schau dir mal die Debian-Anleitung an:
Code: 
zcat /usr/share/doc/cryptsetup/README.remote.gz  | less
klappt fast out-of-the-Box.
 
Unter Ubuntu muss man auch mit nachinstalliertem cryptsetup und mdadm das Kernelmodul nicht manuell laden. Das hab ich noch nie getan und es hat immer funktioniert.

Für Ubuntu helfen folgende Links:
http://wiki.ubuntuusers.de/Software-RAID
http://wiki.ubuntuusers.de/System_verschl%C3%BCsseln
http://wiki.ubuntuusers.de/Verschlüsseltes_System_via_SSH_freischalten
damit erreicht man alles was du vor hast unter Ubuntu. Bei 11.10 solltest du allerdings die Alternate-CD zur Installation/Einrichtung benutzen, sonst wird es nichts. Bei anderen sollte es super laufen.

Wenn du dich per SSH nicht mit einem Keyfile sondern mit Benutzernamen und Passwort einloggen willst, dann hilft folgender Link:
http://forum.ubuntuusers.de/topic/script-verschluesseltes-system-via-ssh-freisch
Klappt super, nur bei 12.04 alpha macht das Skript noch Probleme
 
Noch eine kleine Frage... fast alle, also eigentlich alle Mainboards die ich bis jetzt interessant gefunden habe, also alle mit >= 8 SATA-Ports, haben die Ports meißtens wie folgt aufgeteilt: 2-4 SATA III (p|z)67, 4-6 SATA III (p|z)67 und dann noch 2-4 mit irgend einem anderen Controller (Marvell...). Ist bei meinem Desktop nicht anders, kann leistungsmäßig auch gefühlt nichts merken. Aber wie würde sich das ganze auf ein Software RAID auswirken? Hat jemand von euch schon Erfahrungen damit gemacht?
 
einem echten sw-raid ist das völlig egal. das fake-raid der chipsätze kann die anderen ports dagegen nicht ansprechen.
 
So,

habe jetzt bestellt. Wurde jetzt doch ein Intel XEON E3-1240, Tyan S5512WGM2NR (6 SATA + 8 SAS), 16GB Kingston Value RAM ECC. Insgesamt in der ersten Ausbaustufe 6x 2TB Western Digital WD20EARX (RAID 5 oder 6, muss mich noch entscheiden). Als Systemplatte dann wahrscheinlich meine 320GB 2.5" aus meinem X220 oder 2x 1TB Western Digital im RAID 1...

Ich werde dann weiter berichten... Aufbau, Installation usw.
 
Gibts ne Möglichkeit, nen Debian ohne X per Console in den Standby zu schicken? Ich find da nix :/
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
  • ok1.de
  • ok2.de
  • thinkstore24.de
  • Preiswerte-IT - Gebrauchte Lenovo Notebooks kaufen

Werbung

Zurück
Oben