Debian-Server: Transferraten im kB-Bereich

[iYassin]

Nach etwas Arbeit läuft nun endlich mein neuer Server (FSC Futro S400, AMD Geode NX-1500 @1GHz, 256 MB RAM, 16 GB CF (133x), Debian 6.0.4) - wirklich zufrieden bin ich damit allerdings noch nicht, denn man kann ihn nicht wirklich benutzen. Die Transferraten beim Lesen und Schreiben liegen zwischen 20 und 40 kB/s. :facepalm:
Was ich im Grunde genommen macht habe... Debian 6.0.4 ohne GUI von CD installiert, Samba installiert und die smb.conf vom alten Server übertragen. Die HDDs sind wie bisher per USB 2.0 angebunden, der Server hängt per 100 MBit/s-Ethernet am Router, meine Notebooks sind per 802.11n-WLAN angebunden.

Was kann denn die Ursache für derart langsame Transferraten sein? Klar, die CF-Karte ist als 133x-Modell nicht die schnellste, aber für ein Debian ohne GUI sollte es doch reichen, v.a. wenn nicht auf die CF selbst zugegriffen wird, oder? Und an der sonstigen Hardware sollte es ja auch nicht liegen - mein alter Server, eine Seagate Dockstar mit 1 GHZ-ARM-CPU und 128 MB RAM lief (mit Debian 6.0 testing) von einem normalen USB-Stick, da waren problemlos 25 MB/s möglich... kann es vielleicht doch irgendwas softwareseitiges sein?

Vielen Dank schonmal für Eure Hilfe!

Viele Grüße,

iYassin

 

[yatpu]

geht beim kopieren womöglich die cpulast durch die decke? falls ja, was verursacht das?

 

[iYassin]

Nein, beim Kopieren nicht - nur während Windows "Kopieren wird vorbereitet..." anzeigt, geht die CPU-Auslastung unter "% wa" auf 70% hoch (dann steht smbd ganz oben, %CPU davon sind aber dennnoch 0,3%), sobald er anfängt zu kopieren, geht die Auslastung wieder zurück und der Idle liegt bei über 99%.
Im RAM sind übrigens durchgängig ca. 60 MB frei.

 

[soundofsilence]

Hast Du mal probiert einfach irgendwas per ftp auf die CF Karte zu kopieren?

 

[TP-Tim]

würde auch mal versuchen einige Dateien mit NFS zu übertragen. SMB macht manchmal sputzen bei der Transferrate, ohne smb.conf Anpassungen für die Hardware. FTP / NFS liefern da erstmal bessere Werte und den Fehler zu finden um die smb.conf anzupassen.

 

[linrunner]

Da Du das Teil vermutlich per ssh administrierst, wäre es am einfachsten per scp die Übertragunsgeschwindigkeit zu prüfen.

 

[TP-Tim]

Nur scp Copy kommt schnell an die CPU Grenze durch den Cryptoverhead. NFS / FTP übertragen unverschlüsselt und somit kann die CPU die ganze Power auf Dateitransfer werfen und muss nicht auch noch den Cryptokram machen. Bei schnellen CPUs zu vernachlässigen, aber der Geode ist nicht der schnellste einer.
Und NFS ist schnell eingerichtet, nfs-kernel-server installieren und mit exportfs ein Verzeichnis freigeben, ok NFS Client unter Win könnte dann problematisch werden, aber sollte auch genug geben.

 

[iYassin]

NFS finde ich irgendwie nicht so schön, ist auf dem Mac mit diversen Einschränkungen verbunden und läuft auch nur unter Windows 7 OOTB... per SCP komme ich sogar nur auf unter 30 KB/s.

Kann ich bei diesen Transferraten davon ausgehen, dass ich mit NFS wieder auf mindestens 10 MB/s komme? Alles darunter ist für meine Zwecke unbrauchbar...
Und liegt es definitiv an der Hardware? Wenn ja, limitiert da eher die CPU oder die 16GB-133x-CF? Wenn nein, was könnte es denn softwareseitig sein?

 

[Myon]

Und liegt es definitiv an der Hardware? Wenn ja, limitiert da eher die CPU oder die 16GB-133x-CF? Wenn nein, was könnte es denn softwareseitig sein?

Obs an der CF-Karte oder an der CPU liegt, lässt sich relativ einfach herausfinden.
Führe mal diesen Befehl aus:

dd if=/dev/zero of=/dev/shm/testfile_30MB bs=31457280 count=1

Der Befehl erzeugt im RAM eine 30 MB große Datei. Nun kannst du versuchen, diese Datei per SCP auf deinen
Rechner zu kopieren (Pfad: /dev/shm/testfile_30MB). Da die Datei dabei direkt aus dem Arbeitsspeicher ausgelesen
wird, sollte die Geschwindigkeit der CF-Karte keine Rolle spielen.

Vorher bitte über top oder free schauen, dass genügend Arbeitsspeicher vorhanden ist. Sonst kann es passieren, dass die Test-Datei im Swap landet, wodurch die Messung vollkommen verfälscht wird.

 

[iYassin]

Vielen Dank für den Tipp! Der Kopiervorgang startete mit 1,5 MB/s und ging dann runter auf ca. 800 KB/s +/- 100 KB/s... dann ist es wohl entweder die CPU oder ein fehlkonfiguriertes System Ich glaube aber eher, die CPU, oder? Dann wäre das Teil für mich echt völlig unbrauchbar... komisch, dass die Dockstar mit einer 1 GHz-ARM-CPU so viel schneller war.

 

[Thomebau]

Und vor allem komisch dass ich mit meinem Teil auf dem Windows 7 rennt (in abgespeckter Version, mit 512MB RAM und auf ner 2,5" IDE HDD) auf mindestens 16MB/s kommt. Da sollte es doch definitiv nicht an der Hardware scheitern. Versuch mal probeweise ein FreeNAS oder Crunchbang o.Ä. Da sollte meiner Meinung nach definitiv mehr drin sein.

 

[Myon]

Vielen Dank für den Tipp! Der Kopiervorgang startete mit 1,5 MB/s und ging dann runter auf ca. 800 KB/s +/- 100 KB/s... dann ist es wohl entweder die CPU oder ein fehlkonfiguriertes System Ich glaube aber eher, die CPU, oder? Dann wäre das Teil für mich echt völlig unbrauchbar... komisch, dass die Dockstar mit einer 1 GHz-ARM-CPU so viel schneller war.

Vorsicht, bei scp werden die Daten in Echtzeit verschlüsselt, das erzeugt dann natürlich eine hohe CPU-Last, sodass die Transferraten in den Keller gehen. Und selbst 700 KB/s sind immerhin deutlich mehr als die 20-40 KB/s, die du sonst hast. Für mich siehts eher nach einem Softwareproblem aus.

Versuch mal, sowohl die USB-Platte als auch die CF-Karte per hdparm zu benchmarken

hdparm -tT /dev/yourdevice

Die Transferraten sollten eigentlich im MB/s-Bereich liegen.

 

[iYassin]

Also, wenn Thomebaus S400 die 16MB/s schafft, kanns wirklich nicht an der HW liegen

hdparm für die CF: Cached reads -> 225,57 MB/s, Buffered reads -> 26,42 MB/s
hdparm für die HDD: Cached reads -> 221,89 MB/s, Buffered reads -> 28,66 MB/s

 

[Thomebau]

16MB/s schafft, kanns wirklich nicht an der HW liegen

Nicht dauerhaft, aber das liegt an der USB Platte. Von nem Stick oder der eingebauten HDD gehts ohne Probleme (nutze ich halt idR nicht wegen zu wenig Platz).

 

[iYassin]

Hätte jemand einen Tipp, was eine softwareseitige Ursache sein kann? SMB an sich kann ja eigentlich nicht das Problem sein, da es auf der Dockstar problemlos lief...

 

[iYassin]

Push! :thumbsup:
Hat niemand eine Idee?

 

[TP-Tim]

Versuch mal in der smb.conf folgende Parameter:
read size = 65535
write size = 65535
socket options = TCP_NODELAY

Dann solltest Du auch mal die Netzwerkkarte anschauen, manchmal musst Du dort auch was anpassen. Oder mal versuchen die Firmware der Karte zu laden, die meisten Firmware sind nicht! bei Debian dabei, passen nicht zur Lizenz.
Und wie gesagt auch mal die anderen Protokolle NFS/FTP probieren, um mal realistische Werte vom Traffic zu bekommen. Denke auch die HW sollte 100MBit Netz auslasten können.

 

[iYassin]

FTP habe ich gerade ausprobiert, da komme ich beim Übertragen einer großen Datei auf maximal 1,3 MB/s.

Die Netzwerkkarte ist eine Realtek RTL-8110SC/8169SC, theoretisch wohl 1 GBit/s, mein Router schafft aber nur 100 MBit/s. Mal googlen...

 

[TP-Tim]

Mmm das ist wirklich nicht viel, was macht die CPU in der Zeit ? Am idlen oder hoch belastet ?

Nebenbei noch was: Welches FS nutzt Du ? ext3 / ext4 / xfs oder jfs ......

Kennst Du iostat ? (Paket sysstat ) Zeigt die IOs der HW an.
Hast Du auch mal einen Ping gemacht ? Server -> Client und Client -> Server am besten dabei dann auch die Größe der Ping Pakete variieren, um eventuelle Netzprobleme (Kabel, Router, Switch ) als Fehlerquelle zu finden.
Nicht das einfach nur zu viele Pakete nicht ankommen und der Traffic durch ständiges Neuversenden in den Keller geht.

 

[TP-Tim]

Alternativ mal mit bing, nicht die Suchmaschine , versuchen, Paket für Debian ist da.
Bing macht nichts weiter als das Netz mit ping Paketen zu fluten und den Durchsatz der Karte zum Zielrechner zu messen:

bing hostA hostB

Einfach ein wenig laufen lassen und dann mit STRG-C Beenden und du bekommst die Statistiken angezeigt.