Hallo zusammen,
bin gerade dabei über die Box Webites zu parsen. Reine HTML-Seiten lassen sich prima per request.session downloaden, aber bei Scriptbasierten Seiten braucht man wohl einen Browser und ein Tool wie Selenium, was automatisch den Browser steuen kann, um dynamische Inhalte "sichtbar" zu machen (z.B. müssen Buttons gedrückt werden um "mehr" Einträge von Listen zu sehen). Weiss jemand ob das mit unserer Basis (python 2.7 / Chromium Browser / gibt es Selenium oder ähnliches als Paket) überhaupt geht? Oder gibt es evtl. andere Ansätze solche Seiten runterzuladen?
bin gerade dabei über die Box Webites zu parsen. Reine HTML-Seiten lassen sich prima per request.session downloaden, aber bei Scriptbasierten Seiten braucht man wohl einen Browser und ein Tool wie Selenium, was automatisch den Browser steuen kann, um dynamische Inhalte "sichtbar" zu machen (z.B. müssen Buttons gedrückt werden um "mehr" Einträge von Listen zu sehen). Weiss jemand ob das mit unserer Basis (python 2.7 / Chromium Browser / gibt es Selenium oder ähnliches als Paket) überhaupt geht? Oder gibt es evtl. andere Ansätze solche Seiten runterzuladen?