T4xx (T400-450 ohne "T440s/T450s") Wie SATA Ports richtig "verteilen" für Homeserver Projekt mit Proxmox & FreeNAS

[maxs]

Wie SATA Ports richtig "verteilen" für Homeserver Projekt mit Proxmox & FreeNAS

Hallo,
ich bastle gerade an einem T420p der später mal ein Homeserver mit Proxmox als Host und einem FreeNAS als Gast werden soll.

Ich habe für das Projekt folgende Hardware:
ThinkPad T420p (Intel I7-2630QM, 16GB RAM)
1x 256GB SSD 1x 120GB mSATA 5x 500GB HDD 1x 750GB HDD Diverse USB-Sticks (2.0/3.0)
Mini Dock plus Series 3
(WLAN Sticks)

Wenn ich richtig zähle verfüge ich also über folgende Schnittellen des T420:
2x SATA3 Intern
1x mSATA mit SATA2
1x eSATA mit SATA2 (Extern) 2x USB 3.0 über eine ExpressCard 34mm (Leider funktionieren die Ports nicht während des Boot Vorgangs) 2x USB 2.0 (Intern)

Am Ende hätte ich gerne ein 500GB Raid 1 Pool und bestenfalls ein Raid 0 Pool aus den Platten die noch ans Gerät passen.
Den Raid 0 Pool sehe ich als Bonus, primär geht es mir um einen performanten Raid 1 Pool.

Ich habe nun folgende Fragen:

• Es gibt Anleitungen in denen empfohlen wird das Hostsystem auf einem USB-Speicher zu installieren um keinen schnellen SATA Port zu verschwenden. Würde Proxmox noch vernünftig arbeiten wenn es auf einem USB 2.0 Stick läuft?
• Auf welcher Platte lege ich die VMs ab damit diese performant laufen und zügig ihr I/O machen können? Auf welchen Port sollte die Platte angeschlossen werden?
• Was für Möglichkeiten habe ich um aus den restlichen Platten/Schnittstellen ein halbwegs brauchbares Raid 0 zusammen zu würfeln?

Meine Ideen:

1.
Hostsystem: auf einem USB-Stick laufen lassen, ggf. I/0 intensive Dateien auslagern.
Pool für VMs und Container: auf der mSATA Karte über SATA2 (233/212 MB/s)
Pool mit dem Raid 1: Beide Platten auf die beiden internen ATA Schnittellen legen (HDD0 = 117/84 MB/s, HDD1 = 80/73 MB/s)
Pool mit dem Raid 0: HDD2 über eSATA (100/80 MB/s) und HDD3 über ExpressCard/USB 3.0 anschließen (40/30MB/s)

Gedanke dabei: Wenn der Host vernünftig auf einem USB-Stick läuft und die Geschwindigkeit von der mSATA Karte mit SATA2 ausreicht um die Gastsysteme vernünftig laufen zu lassen wäre die Lösung wohl am effizientesten.
Vorteil: die SSD wird nicht verbaut und kommt in einen anderen Rechner. Nachteil: Die mSATA Platte am SATA2 Port bringt nur die Hälfte der mit SSD/SATA3 möglichen Geschwindigkeit.

2.
Hostsystem: auf der mSATA Karte über SATA2 (233/212 MB/s)
Pool für VMs und Container: auf der SSD über SATA3 (500/450 MB/s)
Pool mit dem Raid 1: HHD0 über dem zweiten SATA3 Port im UltraBay, HDD1 über den externen eSATA Port (HDD0 = 80/73 MB/s, HDD1 = 90/80 MB/s)
Pool mit dem Raid 0: HDD2 & HDD3 über ExpressCard/USB 3.0 anschließen (beide ca. 40/30 MB/s)

Vorteil: Optimale Performance für die VMs/Container. Nachteil: Eine Platte des wichtigen Raid 1 wird extern angeschlossen.

Flaschenhals ist auf jeden Fall die Netzwerkkarte, ich wäre mit einem vernünftig virtualisierten FreeNAS und Übertragungsrate von 11-12 MB/s im Netzwerk auf dem Raid 1 zufrieden.

So jetzt seid ihr dran, was habe ich übersehen? Was funktioniert definitiv nicht?

 

[schoerg]

Flaschenhals ist auf jeden Fall die Netzwerkkarte, ich wäre mit einem vernünftig virtualisierten FreeNAS und Übertragungsrate von 11-12 MB/s im Netzwerk auf dem Raid 1 zufrieden.

T420p hätte aber schon einen Gigabit-Port, oder ist dein Rest vom Netzwerk nur 100 Mbit/s?

Wenn du mehr Platten willst, wäre vielleicht sowas geeignet:

https://www.amazon.de/DeLock-MiniPCIe-PCIe-full-size/dp/B0093IYYZM

Gibts auch mit 4 Ports. Musst aber dann BIOS umflashen und portabel ists auf jeden Fall auch nicht mehr.

 

[maxs]

T420p hätte aber schon einen Gigabit-Port, oder ist dein Rest vom Netzwerk nur 100 Mbit/s?

Der Roter kann auch 1G, das T420 hängt aber gerade an einem 100 Mbit/s PowerLAN Adapter.
Ich habe schon überlegt die Verbindung später mit (zusätzlichen) WLAN Interfaces und Link Aggregation zu beschleunigen, kenne mich damit aber noch überhaupt nicht aus. Müsste mal recherchieren wie, bzw. ob sowas möglich ist. Sollte das PowerLAN die Verbindung erheblich aus bremsen würde ich im Notfall auch ein Kabel legen.

Wenn du mehr Platten willst, wäre vielleicht sowas geeignet:
https://www.amazon.de/DeLock-MiniPCIe-PCIe-full-size/dp/B0093IYYZM
Gibts auch mit 4 Ports. Musst aber dann BIOS umflashen und portabel ists auf jeden Fall auch nicht mehr.

Das ist ja super, bin bisher nicht auf die Idee gekommen weitere Ports über die MiniPCIe Schnittstelle zu adaptieren.
Hast du mit solchen Adaptern an ThinkPads bereits Erfahrungen gemacht?
Der MiniPCIe Port neben dem RAM auf der Rückseite ist meines Wissens nach nur an SATA2 angeschlossen. Verstehe ich es richtig dass die Karte zwei vollwertige SATA2 Ports zur Verfügung stellt? Ich dachte im ersten Moment dass die 3Gb/s des vorhandenen Ports aufgeteilt werden?!


Intel gibt folgendes zum Prozessor an:

Expansion Options
PCI Express Revision 2.0
PCI Express Configurations ‡ 1x16, 2x8, 1x8+2x4
Max # of PCI Express Lanes 16

Ich finde diese Mini-PCIe Karte, 4x USB 3.0 noch interessant, da dürfte eine interne Stromversorgung über den 4-Pin Anschluss der Karte zum Problem werden.

Vielen Dank und liebe Grüße

 

[schoerg]

Das ist ja super, bin bisher nicht auf die Idee gekommen weitere Ports über die MiniPCIe Schnittstelle zu adaptieren.
Hast du mit solchen Adaptern an ThinkPads bereits Erfahrungen gemacht?
Der MiniPCIe Port neben dem RAM auf der Rückseite ist meines Wissens nach nur an SATA2 angeschlossen. Verstehe ich es richtig dass die Karte zwei vollwertige SATA2 Ports zur Verfügung stellt? Ich dachte im ersten Moment dass die 3Gb/s des vorhandenen Ports aufgeteilt werden?!

Hab zwar so eine Karte daheim aber nicht in einem Thinkpad probiert. Sollte PCIE anliegen hast du natürlich 2 weitere SATA-Ports. Im Wlan-Slot gehts auf jeden Fall, da dort PCIE vorhanden ist. Ich gehe schon davon aus dass dort PCIe vorhanden ist.

Sonst hier eine mit 4 Ports: https://www.amazon.de/iocrest-Port-6-0-Gbit-PCI-Express-Controller/dp/B072BD8Z3Y

 

[iYassin]

Ich weiß, wir sind hier im Thinkpad-Forum - aber wenn es an so viele Platten geht, warum baust du dir nicht einen kleinen Server im NAS-Gehäuse auf Mini-ITX-Basis oder im Midi-Tower? Wirklich kompakt ist das TP mit Dock und x externen HDDs ja auch nicht mehr. Auch in Sachen Stromverbrauch wärst du mit einem kleinen Desktop-System wohl besser dran, aber auf jeden Fall ähnlich.

Beim Thema RAID mit externen Platten wäre ich auch vorsichtig, evtl. kann da noch jemand mit FreeNAS-Erfahrung etwas dazu beitragen. Ich hatte mal bei einer Bekannten unter Mac OS X zwei RAID 1 (Software-RAID) mit jeweils zwei 2TB-HDDs in Betrieb. Das lief zwar und gar nicht mal so langsam, aber wenn nach einem Neustart des Macs, nach dem Aufwecken aus dem Standby oder einfach bei einem Zugriff aufs Laufwerk eine der beiden Platten nicht schnell genug verfügbar war (was bei externen Platten durchaus mal passiert), war sofort das RAID degradiert und hat einen Rebuild erfordert, der ewig dauert. Das ganze wurde dann nach einem halben Jahr zu blöd und wurde daher durch ein 4-Bay-NAS ersetzt.

Zu guter Letzt: Bist du dir sicher, das dir die 11-13 MB/s ausreichen? Ich hatte vor 8, 9 Jahren auch die damals sehr beliebte Seagate Dockstar als Server umfunktioniert und hatte da, wenn es gut lief, ähnliche Transferraten. War eine schöne Spielerei, aber auf Dauer hat es mich zu sehr genervt, wenn ich große Dateien ausgelagert hatte und die erstmal minutenlang wieder auf meinen PC kopieren musste, um vernünftig damit arbeiten zu können.
Den Aufwand mit mehreren WLAN-Interfaces, Link-Aggregation etc. würde ich da auch nicht treiben. Das benötigt zusätzlich nochmal Rechenleistung (-> Stromverbrauch) und ist eine weitere Fehlerquelle. Lieber die Powerlan-Verbindung aufrüsten (gibt es ja mittlerweile mit bis zu 1,3 GBit/s, wenn ich mich nicht täusche?) oder ein Gbit-Kabel legen (ggf. ein Flachbandkabel, wenn es über eine längere Strecke muss).

 

[zwieblum]

2 ¢: FreeNAS bringt dir nichts, was du mit FreeBSD out of the box nicht bekommst .. ausser natürlich den Glauben an einfach konfigurierbares System, der die Konfrontontation mit der Realität nicht übersteht. Netter Text dazu: https://smbitjournal.com/2015/07/the-jurassic-park-effect/

Dann baust du eine NAS auf einer Hardware die dafür nicht geeignet ist: kein ECC RAM, zu wenig SATA Ports, vermutlich keine Festplatten für 24/7 Einsatz. Das verspricht interessante Probleme - eher später als früher, aber genau dann wenn man sie nicht braucht.

Raid 0 ist eine sehr schlechte Idee, egal für welchen Einsatz.

 

[schoerg]

Raid0 kann schon was bringen, je nach Verwendung. Hier sehe ich aber auch keinen Grund.

 

[cuco]

- Proxmox auf USB: Mag gehen, ich würde es eher nicht tun...
- Wohin mit den VMs: Möglichst auf eine SSD oder Proxmox auf einem RAID1 aus zwei SSDs im ZFS. (Info: Leider kann ZFSonLinux kein TRIM, daher unbedingt OverProvisioning beachten) Ggf. können die VMs aber natürlich auch auf HDDs, vermutlich wird an/in den VMs ja eh wenig IO-lastiges passieren, das passiert ja vermutlich auf den HDDs fürs NAS
- RAID0: Warum RAID0? Bitte lass' es. Der einzige wirkliche Vorteil von RAID0 ist eine höhere Geschwindigkeit, insbesondere bei sequentiellen Datentransfers. Allerdings sind die meisten heutigen 3,5" Platten schon schneller als Gbit-LAN überhaupt kann und selbst 2,5"-Platten kommen schon an die Grenze. Wenn man bedenkt, dass du ja sogar nur weniger als Gbit zur Verfügung hast, bringt dir der Geschwindigkeitsvorteil von RAID0 gar nichts, dafür erhöhst du aber das Risiko für Datenverluste enorm! Plane besser mit RAID1, RAID5/RAID-Z1 oder (je nach Anzahl der Festplatten) besser noch mit RAID6/RAID-Z2
- zur virtualisierten Netzwerkkarte: Dank virtio sollten 11-12 MB/s kein Problem sein - bzw. auch Gigabit wäre kein Problem. Interessanterweise verursacht Netzwerktraffic trotz virtio bei mir in Kombination von KVM (Proxmox) und BSD (in meinem Fall pfsense) trotzdem eine verhältnismäßig hohe CPU-Auslastung. Die Datenraten sind aber trotzdem locker erreichbar.
- Beschleunigung durch Link Aggregation: Komplexes Thema. Einfache Antwort: verschieden schnelle Links mit verschiedenen Latenzen zusammenzufassen ist nicht einfach und endet nicht selten in schlechteren Datenraten als jeder der Links alleine schaffen kann. Und unabhängig davon schafft man nur mit Tricks (z.B. Direktverbindungen ohne Switch dazwischen) eine Erhöhung der Datenrate zwischen zwei Clients. Alle anderen Beschleunigungen funktionieren nur, wenn mehrere Clients gleichzeitig auf den gleichen Server zugreifen. Soll heißen: Hast du ein Switch in deiner Verkabelung (nahezu immer der Fall) und überträgst von einem Client Daten vom/auf den Server, ist auch mit Bonding/Link Aggregation keine Geschwindigkeitssteigerung möglich

Ansonsten schließe ich mich iYassin an: Ich würde auch ein kleines Gehäuse (mini-ITX oder gleich ein schönes, evtl. sogar drauf spezialisiertes, Midi-Tower-Gehäuse) nehmen, ein kleines Mainboard und dein Laptop lieber Laptop sein lassen. Das wird ein unschönes Gebastel und früher oder später eher Frust als Freude bereiten. Allein schon die Fragestellungen des Ausgangsposts erübrigen sich zum Teil dadurch
Und 11-13 MB/s ist wirklich noch wenig. OK, ich bin inzwischen anderes gewohnt und warte nur darauf, dass 10Gbit-Switches (mit VLANs und ohne Lüfter) endlich erschwinglich bzw. überhaupt verfügbar werden. Für den Anfang geht daher natürlich auch eine Datenrate im Bereich von 100Mbit. Aber Spaß macht das nicht lange. (Und RAID0 braucht man dann um so weniger)