Netzwerkperformance cifs Automount vs. fstab-Mount

schluppy · 5. Dezember 2011, 21:54

Hallo zusammen,

ich lese schon eine ganz Zeit lang mit und wollte mal meine Erfahrungen aufschreiben bezüglich der Netzwerkperformance.

Umgebung:
Vu+ Duo VTI 3.2 ohne Festplatte
WHS 2011 (Windows Server 2008 R2)

Zuerst habe ich die Freigabe auf dem Homeserver über den Netzwerkmanager eingerichtet. Das ging einfach und schnell.

Problem:
War das zwei HD Sendungen nicht gleichzeitig auf dem Server ins Netzlaufwerk geschrieben werden konnten. Die Sendungen hatten Aussetzter und Ruckler.

Lösung:
Deaktivieren der Freigabe im Netzwerkmanager. Und manuelles mounten über die /etc/fstab

Was habe ich genau gemacht:

Folgende Zeile in die /etc/fstab eintragen:

Quellcode

//192.168.178.31/TV-Aufzeichnung /media/net/whs2011 cifs rw,mand,username=vuplus,passwd=1234 0 0

Mount Point anlegen:

Quellcode

mkdir /media/net/whs2011

Symlink umbiegen / anlegen damit der cifs Mount als Festplattenersatz akzeptiert wird, und Ordner für die Aufnahmen anlegen:

Quellcode

rm /media/hdd
ln -s /media/net/whs2011 /media/hdd
mkdir /media/hdd/movie

Ich habe beide Varianten mit einem dd von /dev/zero getestet, und konnte die Netzwerkperformance verdoppeln! Größter Unterscheid war das der Automounter immer eine feste Größe für rsize und wsize setzt (8192). Wenn das der cifs.mount selber aushandelt kommen da ganz andere Werte raus:
rsize=16384,wsize=57344
Und schon schreibe ich mit fast 11 MB die Sekunde auf den Server. Leider habe ich die Einstellungen des Automounters nicht gefunden der die "falschen" rsize und wsize Werte setzt. Eigentlich waren das mal feste Faust-werte wenn man NFS gemacht hat, früher also so vor 4 - 6 Jahren.

Ich hoffe ich kann anderen damit weiterhelfen wenn sie die Suchfunktion nutzen.

Viele Grüße vom schluppy

Exilschwaelmer · 6. Dezember 2011, 07:58

Moin,

mir fallen zwei Sachen auf:

Quellcode

rm /media/hdd

Würde ich nicht so machen, weil: direkt im Rootverzeichnis / liegt ein Symlink auf /media/hdd.

warum nicht einfach direkt nach /media/hdd mounten:

Quellcode

//192.168.178.31/TV-Aufzeichnung /media/hdd cifs rw,mand,username=vuplus,passwd=1234 0 0

Wird wirklich automatisch auf 8196 gesetzt oder ist das ein Tippfehler? 8192 wären mir logischer. Du hast allerdings recht, mit rzize und wsize kann man schon ein wenig tunen. War/Ist bei den guten, alten Dboxen mit der 10 MBit/s-Schnittstelle immer sinnvoll gewesen und hat - wie Dein Test ergeben hat - ja immer noch Potential.

schluppy · 6. Dezember 2011, 08:51

Moin Moin,

danke für Deine Hinweise, ich habe mich natürlich vertippt. Es sollte 8192 heißen und nicht 8196. Ich habe das schon im Post geändert.

Und ja klar rm /media/hdd ist bestimmt nicht ganz so glücklich. Ich werde die Vu+ eh nochmal platt machen und nochmal alles frisch machen. Dann schaue ich mir nochmal an was out-of-the-box so drauf ist, und werde das hier nochmal anpassen.

Ich habe auch gestern Abend noch einige Sendungen auf ARD-HD und ZDF-HD aufgenommen, und diesmal haben die aufgenommen Sendungen keine ruckler oder ton-aussetzter.

Aber das man so viel rausholen kann hätte ich nicht gedacht. Die Samba.org man-page sagt das die Werte die ich jetzt abgelesen habe die Default werte sind wenn das Kernel Modul geladen wird.

samba.org/samba/docs/man/manpages-3/mount.cifs.8.html

Quellcode

rsize=arg
default network read size (usually 16K). The client currently can not use rsize larger than CIFSMaxBufSize.
CIFSMaxBufSize defaults to 16K and may be changed (from 8K to the maximum kmalloc size allowed by
your kernel) at module install time for cifs.ko. Setting CIFSMaxBufSize to a very large value will cause cifs
to use more memory and may reduce performance in some cases. To use rsize greater than 127K (the
original cifs protocol maximum) also requires that the server support a new Unix Capability flag (for very
large read) which some newer servers (e.g. Samba 3.0.26 or later) do. rsize can be set from a minimum
of 2048 to a maximum of 130048 (127K or CIFSMaxBufSize, whichever is smaller)
wsize=arg
default network write size (default 57344) maximum wsize currently allowed by CIFS is 57344 (fourteen 4096 byte pages)

Alles anzeigen

Grüße vom schluppy

Exilschwaelmer · 6. Dezember 2011, 10:12

Tja, irgendwas mach der Network Manager da wohl anders.

Für für diejenigen, die lieber - weil erstmal einfacher - damit arbeiten, wäre es evtl. einen Test wert, wenn man die Werte dort manuell nachträgt.

Standard ist ja bei den Optionen nur rw,nolock,tcp eingetragen.

Könnte man ja mal in rw,nolock,tcp,rzize=16384,wsize=57344 ändern und die Übertragungsraten vorher/nachher testen.

Auf jeden Fall: Für den ersten Beitrag nicht übel.

Gruß
Exil

beckham · 6. Dezember 2011, 10:32

Cool! Danke für den Beitrag.
Hab ebenfalls nen WHS2011 im Netzwerkschrank stehen, der die Tage mal aktiviert werden soll. Werde dabei auf jeden Fall auf deinen Post zurückkommen!

Drickes · 6. Dezember 2011, 11:33

wenn man unter /etc/enigma2/automounts.xml nachschaut, steht da bei mir

<mount>
<active>True</active>
<hdd_replacement>False</hdd_replacement>
<ip>192.168.178.32</ip>
<sharename>NASSERVER</sharename>
<sharedir>movie</sharedir>
<options>rw</options>
<username>username</username>
<password>password</password>
</mount>

kann man hier, und wenn ja wie, rzize=16384,wsize=57344 angeben?

tonskidutch · 6. Dezember 2011, 11:37

Originally posted by Drickes
wenn man unter /etc/enigma2/automounts.xml nachschaut, steht da bei mir

<mount>
<active>True</active>
<hdd_replacement>False</hdd_replacement>
<ip>192.168.178.32</ip>
<sharename>NASSERVER</sharename>
<sharedir>movie</sharedir>
<options>rw</options>
<username>username</username>
<password>password</password>
</mount>

kann man hier, und wenn ja wie, rzize=16384,wsize=57344 angeben?

klar
<options>rw,rsize=16384,wsize=57344</options>

aber vielleicht muss man das was exilschwaelmer geschrieben hat mal etwas lockerer sehen
die gute seRvern handeln das schon von alleine aus.
und bezüglich die frage ob es ein unterschied gibt fstab oder automount > nein
aber schon ob es ein unterschied gibt zwisschen samba/cifs ,<versus> nfs
ciao

Exilschwaelmer · 6. Dezember 2011, 12:02

1. Ich schreibselte ja "testen".

2. Wenn ich im Freigabemanager eine neue Freigabe erstelle, ist dort als Standard

rw,nolock,tcp

eingetragen. Warum bei Drickes da nur 'rw' steht? Hmmm, k.A.
Edit: Doch Ahnung: Ich D** hab nicht auf CIFS umgestellt, dann steht da nur rw.

Edit: Bin heut zu schnell mit dem Klicken

Wenn man die Wahl zwischen CIFS und NFS hat, würde ich immer NFS wählen. Aber beim WHS hat man da ja wohl so nicht unbedingt eine Wahl. Kenn das Teil nicht, bei einem richtigen Windows-Server kann man NFS-Dienste aktivieren, wie es beim WHS ausssieht, weiß ich nicht.

tonskidutch · 6. Dezember 2011, 12:17

dachte mir erst, was wil uns der exilschwaelmer sagen...?
aber hatte was im gedächtnis

from 8K to the maximum kmalloc size allowed by your kernel
kernel und oder busybox (zwei amputierte auf der VU, nicht auf protzerige Highend servern)
haben wir was von die änderung rsize=arg und wsize=arg? bie cifs auf der VU als client.
ciao

tonskidutch · 6. Dezember 2011, 12:42

Originally posted by Exilschwaelmer
1. Ich schreibselte ja "testen".

2. Wenn ich im Freigabemanager eine neue Freigabe erstelle, ist dort als Standard

rw,nolock,tcp

eingetragen. Warum bei Drickes da nur 'rw' steht? Hmmm, k.A.
Edit: Doch Ahnung: Ich D** hab nicht auf CIFS umgestellt, dann steht da nur rw.

Edit: Bin heut zu schnell mit dem Klicken

Wenn man die Wahl zwischen CIFS und NFS hat, würde ich immer NFS wählen. Aber beim WHS hat man da ja wohl so nicht unbedingt eine Wahl. Kenn das Teil nicht, bei einem richtigen Windows-Server kann man NFS-Dienste aktivieren, wie es beim WHS ausssieht, weiß ich nicht.

jetzt muss ich nach deinen edit... auch meine bericht anpassen <> antizipieren

es gibt nur sehr wenige die das am windows server machen können mit NFS
dazu gibt es von windows eigene manual pages
und standard geht es bei "normalo" windows versionen natürlich nicht um ein NFS server zu betreiben

was wir als SUF kennen kann man nur auf einige versionen gratis nächträglich aufsetzen
der whs2011 hat der das?

die kernel und die kernel implantierte cifs server oder clients sind meist nicht fähig das ganze spektrum zu bedienen

imho
cifs client (im Kernel embedded auf der VU+) ist immer 8192 am windows rechner angebunden
ausser man hat eine windows kiste auf nen windows server, mit diesbezüglich richtige windows version der OS (betriebssystem= Operating System)

ciao

schluppy · 6. Dezember 2011, 14:48

Hallo,

klar kann man auch NFS im WHS2011 nachinstallieren. Ist eigentlich auch recht einfach, nur macht es die Administration wieder aufwändiger. Und genau deswegen habe ich mir ja so einen WHS angetan. Eigentlich bin ich Linux-Server-Admin von Beruf her. Aber ganz ehrlich, ich habe einfach keine Lust so viel zu hause zu basteln. Und bei Windows wird das einmal eingerichtet und sich über die Schei&%$ geärgert, und dann lasse ich die Finger davon. Wenn das eine Linux Kiste wäre würde ich da immer nochmal was finden was man besser machen könnte. Und da ist die Gefahr sehr hoch das ich das Ding verfrickle.

Zurück zum Thema:
Ich habe unter Linux sehr viele gute Erfahrungen mit CIFS gemacht. Es ist deutlich robuster als NFS. Wenn man den Server mal durchstartet ist das für CIFS kein Problem, bei NFS hängt es davon ab ob ein Prozess gerade ein offenes Filehandle auf dem Share hat.

Die rsize und wsize Parameter kommen aus dem CIFS Kernelmodul welches geladen wird wenn ein CIFS-Mount aktiviert wird. Und die Jungs haben sich bestimmt was dabei gedacht die Werte so zu setzten wie sie default-mäßig gesetzt werden. Nicht umsonst ist der Durchsatz doppelt so hoch.

Was mich nur wundert:
Ist der Vorgabewert für den Netzwerkmanager. Ich denke mal das diese Werte eigentlich nur für NFS gesetzt werden sollen, den da machen sie so am meisten Sinn. Eigentlich müsste sobald der Typ auf CIFS geändert wird entweder andere Werte gesetzt werden oder die Werte sollten ganz weg gelassen werden.
Und ich denke die meisten werden eher CIFS nutzen als NFS, und da wäre es doch schade wenn alle über die VU+ Duo schimpfen.

@beckham Falls noch Fragen zum WHS 2011 da sind, im Moment bin ich da gerade voll und ganz im Bilde. Vor allem was den DriveBender betrifft.

Schön das sich noch mehr Leute für das Thema interessieren.
Grüße vom schluppy

tonskidutch · 6. Dezember 2011, 15:49

oder die Werte sollten ganz weg gelassen werden.

das schreibe ich ja oben.
cryptisch jawohl, das man sich auch mal selber frägt und ließt, aber war die ide lass die finger davon die sizes zu ändern
ciao

Snewi · 14. Dezember 2011, 14:31

Moin,

also ich nutze seit gestern NFS und werde heute mal die Parameter rsize und wsize testen!

Die Frage ist jetzt womit teste ich genau den Datendurchsatz?
Und wenn ich die NAS nicht im 24/7 Betrieb laufen habe macht da NFS überhaupt Sinn?

Gruß

tonskidutch · 14. Dezember 2011, 14:33

ja macht sin
und ja es gibt ein script vom IHAD forum wegen NFS speedtest
wenn du es nicht finden kannst, werde ich es dir gerne zur verfügung stellen
ciao

Snewi · 14. Dezember 2011, 14:54

Du hast in einem anderen Beitrag folgendes gepostet:

in telnet ausgabe
mount <enter> sieht man die default verbindung
bei meiner qnap ergibt dieses verdoppeln kein sin da qnap immer auf 8192 eingestellt ist
code:

root@bm750:/# mount
rootfs on / type rootfs (rw)
/dev/root on / type jffs2 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
udev on /dev type tmpfs (rw)
devpts on /dev/pts type devpts (rw)
usbdevfs on /proc/bus/usb type usbfs (rw)
/dev/mtdblock2 on /boot type jffs2 (ro)
tmpfs on /var type tmpfs (rw)
tmpfs on /tmp type tmpfs (rw)
tmpfs on /dev/shm type tmpfs (rw)
automount(pid638) on /autofs type autofs (rw,fd=4,pgrp=638,timeout=1,minproto=2,maxproto=4,indirect)
10.0.0.100:/Qmultimedia on /media/hdd type nfs (rw,vers=3,rsize=8192,wsize=8192,hard,nolock,proto=tcp,timeo=70,retrans=3,sec=sys,addr=10.0.0.100)
root@bm750:/#

heisst das da ich auch eine qnap habe kann ich mir das testen sparen

Snewi · 14. Dezember 2011, 15:00

finde natürlich auch das script nicht

Gruß

tonskidutch · 14. Dezember 2011, 15:02

nein weil ich ja immer herumspiele und die mounts besser funtzen mit ein wenig tweacken

Quellcode

10.0.0.101:/Multimedia/ on /media/hdd type nfs (rw,relatime,vers=3,rsize=32768,wsize=32768,namlen=255,hard,nolock,proto=tcp,port=65535,timeo=70,retrans=3,sec=sys,local_lock=all,addr=10.0.0.101)
/dev/sda2 on /media/usb type ext2 (rw,relatime,errors=continue)
/dev/sda1 on /media/usb1 type vfat (rw,relatime,fmask=0022,dmask=0022,codepage=cp437,iocharset=iso8859-1,shortname=mixed,errors=remount-ro)
root@BM750:/#

da geht er aber schon mit 32768

und das ist bei NAS (auch linux) wichtig wenn man den test durchführt sieht man das
ciao

tonskidutch · 14. Dezember 2011, 15:05

Originally posted by Snewi
finde natürlich auch das script nicht

Gruß

hier mal den ganzen bericht (wo auch das script zur verfügung steht... klick ihad

ciao

Snewi · 14. Dezember 2011, 15:06

kann ich so die Einträge im Netzwerkbrowser übernehmen?

rw,relatime,vers=3,rsize=32768,wsize=32768,namlen=255,hard,nolock,proto=tcp,port=65535

Gruß

tonskidutch · 14. Dezember 2011, 16:01

nein das ist beim NFS unterhandlung zwisschen server und client
du hast ja nicht was bei mir dran hängt

das einzige was ich mache,,.
ist fstab so

Quellcode

rootfs / auto defaults 1 1
proc /proc proc defaults 0 0
devpts /dev/pts devpts mode=0620,gid=5 0 0
usbdevfs /proc/bus/usb usbfs defaults 0 0
/dev/mtdblock2 /boot jffs2 ro 0 0
tmpfs /var tmpfs defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
tmpfs /dev/shm tmpfs mode=0777 0 0
#/dev/discs/disc0/part1 /media/hdd auto defaults 0 0
#/dev/sda1 /media/hdd auto defaults 0 0
10.0.0.101:/Multimedia /media/hdd/ nfs rw,nolock,tcp 0 0

Alles anzeigen

achte auf letzteres ,tcp
wen auf udp will mein server QNAP nicht über 8192 gehen
ciao

und ich habe keine festplatte in der VU+ DUO deshalb media/hdd