RAM-Konsum bis zum Koma

    Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

    • RAM-Konsum bis zum Koma

      Werte Damen und Herren,

      Ich hätte da mal ein Problem.

      Alle 3-5 Tage hängt sich meine Uno 4k mit einem Dauerspinner auf, wenn ich die Box durchlaufen lasse. Die Box ist dann unbedienbar und nur noch ein Reboot ist möglich (10s Standby oder per Telnet).

      Beim beigefügten Log habe ich lediglich die Kanalliste des Cool-TV aufgerufen. Oft passiert das aber auch während meiner Abwesenheit ohne jegliches zutun (außer natürlich, daß einen Aufnahme angestanden haben könnte; EPGRefresh ist aber morgens noch durchgelaufen und erst abends war die Box tot).

      Aufgefallen ist mir (als Laie), daß sich der Prozess Enigma2 90% des verfügbaren Speichers einverleibt hat. Darüber hinaus hing anscheinend der Prozess kswapd0, der gemäß Internetrecherche etwas mit der Swapverwaltung zu tun hat (ich habe diesbezüglich meines Wissens nichts eingerichtet).

      Quellcode

      1. PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
      2. 391 root 20 0 0 0 0 R 27.6 0.0 7:15.74 kswapd0
      3. 1099 root 20 0 1361432 665816 0 D 4.1 90.9 190:31.91 enigma2

      Das unkomprimierte Log enthält die letzten 3h vor dem Problem. Das Zip enthält die letzten Tage seit dem letzten Neustart.
      Der beigefügte Crashlog gehört nicht zum Problem. Vielleicht enthält dieser trotzdem verwertbare Hinweis zu Settings & Co.

      Ich bin zwar mit Linux nicht ganz per Du, aber mit den richtigen Hinweisen wäre es mir möglich, beim nächsten mal mehr Hinweise zu liefern.

      Die epg.dat habe ich nach dem Durchlesen des Logs gelöscht. Wenn es das gewesen sein sollte melde ich das in ein paar Tagen.
      Vielleicht hat aber jemand eine Idee, was die Ursache sein könnte.

      Besten Dank.
      Dateien
      Konfig

      Solo SE V2 und Uno 4k jeweils ohne Festplatte mit 2 Sat-Eingängen an Astra 19.2
      VTI 13.0.x Standardinstallation mit folgenden Änderungen:
      + KravenFHD
      + Picons Transparent.Stefanbenno06.220.132.19
      - Blindscan
      - Renotecontrolcode
      + AutoTimer
      + EPGRefresh
      + EMC
      + CoolTVGuide
      + Multiquickbutton
      + Verkehrsinfo
      - automount.xml
      + auto.network ( STB -fstype=nfs,rw,soft,tcp,nolock 192.168.178.33:/STB )
      + ln -s /media/net/autofs/STB /media/hdd

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von Harvey56 ()

    • Mit nur diesen Informationen wohl unmöglich zu sagen, was da schief läuft.

      In der Prozessliste kannst du sehen, dass der enigma2-Prozess im Device-Wait-Status ist (das D in der Spalte S), d.h. der Prozess wartet auf die Festplatte/Stick. Der Prozess selber verbraucht 1,3G RAM virtuell, davon sind 665M wirklich im Hauptspeicher. Dass der kswapd 27% der CPU Zeit beansprucht, ist ein Anzeichen dafür, dass Speicher aus- oder wieder eingelagert werden soll.

      Was du jetzt versuchen kannst:
      * "iostat" mal aufrufen um eine IO-Statistik zu erhalten; vielleicht auch mal eine längere Zeit mit z.B. "iostat 3" (mit Ctrl+C abbrechen)
      * die Speichermap ist vielleicht ein Ansatzpunkt - in deinem Fall hat der enigma2-Prozess die Prozess-Id 1099. Eine lesbare Speicher-Map kannst du dann über

      Quellcode

      1. cd /proc/1099/
      2. cat smaps > /tmp/smaps.1099.txt
      generieren. Das lesbare File steht dann in /tmp und heisst smaps.1099.txt. Vielleicht kann man daraus erkennen, was den ganzen Speicher beansprucht. Und was die Ursache ist.
      Diskutiere nie mit einem Idioten. Er zieht dich auf sein Niveau runter und schlägt dich mit seiner Erfahrung.
    • Danke für deine Tipps.

      Inzwischen glaube ich auch, daß die Logs wertlos sind weil sie einen Folgefehler darstellen. Denn der Speicherverbrauch steigt pro Stunde um ein knappes Prozent.

      Bei dem, was smaps ausspuckt fällt mir auf, daß der Heap kontinuierlich anwächst. Das müsste ich morgen früh mal verifizioeren, die letzte knappe Stunde ist er von 64804 kB auf 68728 kB angewachsen. Wenn es daran liegt ist die Info auch wertlos, oder?

      An sonsten sind die größten Blöcke (cat smaps |grep Size:|sort) /dev/nexus mit 256MB , [stack:30808] mit 46MB und /dev/fb0 mit 21MB, allesamt ziemlich konstant.

      Bei iostat kann ich nicht beurteilen, ob zwei Ausreißer mit 35 %iowait bei wenigen Blöcken vorkommen dürfen (das habe ich für das Log zum Hochladen nicht mehr reproduzieren können)

      Ich befürchte, ich werde die Plugins und den Skin (Kraven FHD) mal sukkzessive ausser Kraft setzten müssen. Dank deiner Hilfe weiß ich nun, wie ich recht fix zur Analyse komme ohne tagelang auf den Absturz warten zu müssen.
      Dateien
      • smaps_2249.txt

        (253,47 kB, 8 mal heruntergeladen, zuletzt: )
      • iostat.txt

        (8,19 kB, 5 mal heruntergeladen, zuletzt: )
      Konfig

      Solo SE V2 und Uno 4k jeweils ohne Festplatte mit 2 Sat-Eingängen an Astra 19.2
      VTI 13.0.x Standardinstallation mit folgenden Änderungen:
      + KravenFHD
      + Picons Transparent.Stefanbenno06.220.132.19
      - Blindscan
      - Renotecontrolcode
      + AutoTimer
      + EPGRefresh
      + EMC
      + CoolTVGuide
      + Multiquickbutton
      + Verkehrsinfo
      - automount.xml
      + auto.network ( STB -fstype=nfs,rw,soft,tcp,nolock 192.168.178.33:/STB )
      + ln -s /media/net/autofs/STB /media/hdd

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von Harvey56 ()

    • Zwischenstand: Ich weiß nicht, was an meiner Maschine anders ist. Oder läßt wirlich niemand die Box mehrere Tage durchlaufen?

      Da das sukkzessive Deinstallieren nichts gebracht habe, habe ich ein frisches Image installiert und ein Update gefahren. Danach habe ich lediglich die Tuner konfiguriert und die Kannalliste zurückgespielt. Und versehentlich die timer.xml (vergessen zu löschen, nachdem ich die zunächst eingebundene NAS wieder rausgeworfen habe)
      An sonsten habe ich alles jungfräulich gelassen, also ich nichts an den Settings geändert, keine Plugins (de)installiert und der Link media/hdd führt ins Nirvana.
      Die Box hat sich dennoch im Laufe des (zu) kurzen Tests immer mehr Speicher genommen (am Wochenende mache ich den Test mit der Default- Kanalliste länger)

      Quellcode

      1. time VIRT RES SHR S %CPU %MEM [heap] (aus smaps)
      2. 17:28 725404 75956 12932 S 1.7 10.4 13516
      3. 17:32 726360 77628 13588 S 1.7 10.6 14480 (Webinterface aufgerufen)
      4. 17:36 726872 78016 13588 S 6.2 10.7 14276
      5. 17:40 727384 78488 13588 S 1.3 10.7 14276
      6. 17:46 735036 87736 14800 S 1.7 12.0 15484 (Kanäle durchgezappt)
      7. 18:17 738576 91040 14800 S 1.3 12.4 16128
      8. 18:42 742700 95068 14800 S 1.3 13.0 17540
      Nebenschauplatz: Das einzige was anders sein könnte als auf den Entwickerboxen: Seltsamerweise habe ich (mit ein und dem selben Stick) nur die Version vti-image-vuuno4k-20161130154113_vti_11-0-0_usb flashen können. Die vuplus-image-vuuno4k-20170206170955_usb hat zwar das Linux gebootet aber /mnt/usb war leer (ich wusste garnicht, daß man während des Flashens auch mit telnet drauf kommt ;) ). Nach dem Update sollte aber der Stand identisch sein, oder?



      Wenn noch jemad eine Idee hat immer her damit.
      Konfig

      Solo SE V2 und Uno 4k jeweils ohne Festplatte mit 2 Sat-Eingängen an Astra 19.2
      VTI 13.0.x Standardinstallation mit folgenden Änderungen:
      + KravenFHD
      + Picons Transparent.Stefanbenno06.220.132.19
      - Blindscan
      - Renotecontrolcode
      + AutoTimer
      + EPGRefresh
      + EMC
      + CoolTVGuide
      + Multiquickbutton
      + Verkehrsinfo
      - automount.xml
      + auto.network ( STB -fstype=nfs,rw,soft,tcp,nolock 192.168.178.33:/STB )
      + ln -s /media/net/autofs/STB /media/hdd

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von Harvey56 ()

    • Das hier sieht meiner Meinung nach auch gut/normal aus. Aber vor dem flashen hat die Box sich schon mehr Speicher genommen als vorhanden war - sprich ist angefangen zu swappen. Und das ist sicher nicht normal - könnte irgendwo ein Memory-Leak in den Tiefen von enigma2 (gewesen) sein.
      Diskutiere nie mit einem Idioten. Er zieht dich auf sein Niveau runter und schlägt dich mit seiner Erfahrung.
    • Werte Entwickler,

      ich glaube zumindest den Dunstkreis gefunden zu haben, in dem ein Memoryleak auftritt.
      Nachstellen kann ich das durch Bombardieren des Webinterfaces mittels wget (z.B. aus cygwin unter Windows). In /media/hdd/History liegen bei mir 98 Aufnahmen.

      Quellcode

      1. FOR /L %i IN (1,1,10000) do D:\Development\cygwin\bin\wget http://192.168.178.35/web/movielist?dirname=/media/hdd/movie/History
      In meiner Umgebung streikt die Box nach 5234 Aufrufen in 62 Minuten (der enigma2-Prozess geht in den Device-Wait-Status und benötigt nahezu das gesamte RAM).


      Als nächstes bin ich zu Berichtszecken auf die Idee gekommen es mit einem nicht existierenden Verzeichnis zu probieren. Auch hierbei streikt die Box irgendwann.

      Freundliches Gegenbeispiel: epgservice?sRef=1%3A0%3A19%3A2B98%3A3F2%3A1%3AC00000%3A0%3A0%3A0%3A

      _________________________________________________________
      Wer sich für den Hintergrund interessiert: Das war ein Zufallsfund.
      Ich habe es mal mit openATV probiert und den selben Ärger gehabt. Bevor ich auf VTi zurückging wollte ich Kodi17 antesten und habe im gleichen Zug mein NAS und meinen PC auf Krypton gebracht. Dies zunächst ohne das Plugin "Enigma Client" zu installieren und siehe da - plötzlich war es auffällig ruhig. Jetzt fehlten ja die regelmäßigen Abfragen bezüglich EPG und Aufnahmen. Wie die aussehen hatte ich in einem alten Log entdeckt (war auch Zufall, als mein Noch-Kodi 16 auf dem NAS nicht mit openATV kommunizieren wollte).

      Nebenbei traue ich mich jetzt nicht, Kodi16 des VTi aufzurufen. Ich befürchte Ärger mit der gemeinsamen DB. Egal - ich hab's auf der Box nicht wirklich genutzt und werde es deinstallieren.

      Happy Debugging
      Harvey56
      Konfig

      Solo SE V2 und Uno 4k jeweils ohne Festplatte mit 2 Sat-Eingängen an Astra 19.2
      VTI 13.0.x Standardinstallation mit folgenden Änderungen:
      + KravenFHD
      + Picons Transparent.Stefanbenno06.220.132.19
      - Blindscan
      - Renotecontrolcode
      + AutoTimer
      + EPGRefresh
      + EMC
      + CoolTVGuide
      + Multiquickbutton
      + Verkehrsinfo
      - automount.xml
      + auto.network ( STB -fstype=nfs,rw,soft,tcp,nolock 192.168.178.33:/STB )
      + ln -s /media/net/autofs/STB /media/hdd
    • Hallo Harvey,

      ich hab das Experiment mit der Movielist auch gerade mal gemacht - das OpenWebif hat da definitiv irgendwo ein Memory Leak - schaue ich mir mal an, mal sehen, ob ich herausfinden kann, wo es ist.

      Ich finde das jetzt aber noch nicht dramatisch; ich hab nach 200 Aufrufen abgebrochen, da waren das ca. 40M mehr an benutzem Speicher. Worauf ich hier hinaus will: meine Box wird nachts heruntergefahren und fährt normalerweise erst wieder kurz vor Feierabend alleine hoch, da stört mich dieses Leak nicht wirklich. Ich benutze zwar viel das OpenWebif, aber sicher keine 10000 Mal pro Tag.

      Wenn ich das Memory Leak finde, werde ich das ans OpenWebif-Team weitermelden.
      Diskutiere nie mit einem Idioten. Er zieht dich auf sein Niveau runter und schlägt dich mit seiner Erfahrung.
    • Hallo Rdamas,

      Gibt es noch eine Rückmeldung zum Openwebif Memory Leak Problem?
      Ich habe mit grosser wahrscheinlichkeit das gleiche Problem.

      Mit freundlichen Grüssen,

      Freudi.
    • Nein, ich habe die Ursache nicht gefunden; hab da aber auch nicht ewig Zeit investiert, da mich das Memory Leak nicht weiter stört (ich bin im OpenWebif so gut wie nie in der Movielist) und meine Box Nachts sowieso im Deep-Standby ist.
      Diskutiere nie mit einem Idioten. Er zieht dich auf sein Niveau runter und schlägt dich mit seiner Erfahrung.
    • Hallo,

      es gibt hier definitiv ein Memory Leak im Open Webif. Ich habe exakt das gleiche Problem mit meiner Solo4K (VTi 11.02, alle Plugins auf dem neusten Stand) und Kodi 16.1 gehabt. Der enigma2-Prozess hat sich über den Tag verteilt immer mehr RAM genommen, bis die Box dann schlussendlich eingefroren ist. Mein Dank gilt @Harvey56! Durch seine Vorarbeit bin ich auf die richtige Spur gekommen.

      Wir haben im Haus insgesamt 7 Fernseher, die über Kodi 16.1 mit TV versorgt werden. Im Vu+ PVR-Plugin ist standardmäßig eingestellt, das jeder Kodi alle 2 Minuten bei der Box nach Änderungen (Aufnahmen, Timer, Senderlisten etc.) anfragt. Das sind je Box 30 Abfragen in der Stunde bzw. 720 je Tag. Bei 7 Boxen entspricht das 5040 Abfragen am Tag! Und genau hier lag der Hund bei uns begraben - diese Abfragen haben dafür gesorgt, dass der Prozess "enigma2" auf der Box kontinuierlich gewachsen ist. Seit ich den Intervall im PVR Plugin bei allen Kodis auf 120 Minuten (reicht uns vollkommen) erhöht habe, läuft die Box stabil wie eh und je.

      Das behebt nur das Problem, nicht aber die Ursache. Meiner Meinung nach, muss sich ein Entwickler mal ansehen, warum der Prozess den RAM nicht wieder freigibt.


      Gruß
      Spathi
    • Offenbar besteht das Problem immer noch, hier auf einer VU+ Uno 4K SE (aktuelles VTI 15 mit allen Updates), mit zwei Kodi Clients. Die Box bleibt regelmäßig hängen mit der "Loading" Animation, oder das interne Display flackert grün, meisten kann man sich noch mit ssh verbinden, und einen Reboot durchführen. Bei "free" ist meistens fast das komplette RAM ausgenutzt, bei "top" verbraucht der Prozess enigma2 >80% memory.
      Nachdem die interne 4TB Platte sehr viele Filmegespeichert hat, und das Memory-Leak offenbar beim Aktualisieren der Aufzeichnungen auf den Kodi Clients auftritt, passiert das fast jeden zweiten Tag.