Hallo Freunde,
mit WWW::Mechanize spidere ich diverse Webseiten um dort mit Mojo-DOM Content zu extrahieren. Das klappt auch sehr gut.

Es gibt nun aber eine Webseite auf der die Bilder per Ajax-Request/Javascript geladen werden, sodass die Bildpfade nicht im ursprünglichen html-Code enthalten sind und ich sie nicht extrahieren kann.

Ich muss vorher einen Ajax-Request/Javascript ausführen, habe damit aber Probleme.

Wenn ich auf der Webseite die Firebug-Konsole verwende, wird mit folgendes Script angezeigt.

POST http://www.domain.de/user.aspx/GetImages (hierüber werden die Images geliefert)

Als curl:
'http://www.domain.de/user.aspx/GetImages' -X POST -H 'Host: www.domain.de' -H 'User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:38.0) Gecko/20100101 Firefox/38.0' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' -H 'Accept-Language: de,en-US;q=0.7,en;q=0.3' -H 'Accept-Encoding: gzip, deflate' -H 'DNT: 1' -H 'X-Requested-With: XMLHttpRequest' -H 'Content-Type: application/json; charset=utf-8' -H 'Referer: http://www.domain.de/user.aspx?Melissa' -H 'Content-Length: 0' -H 'Cookie: _ga=GA1.2.668882856.1512931570; ASP.NET_SessionId=111hb4mfk55azauhztjcr0ca; _gid=GA1.2.1146046056.1515921244; _gat_gtag_UA_110399382_1=1'

Ich habe gelesen, dass man solche Ajax-Request mit z.B. WWW::Scripter ausführen kann, sodass man danach die Bilder extrahieren kann.

Leider sehe ich hier nich durch! Ich verstehe nicht, wie man nun diesen "Script-Pfad" aufruft um dann die Bilder zu bekommen. Auf der entsprechenden Webseite handelt es sich um verschiedenen User-Profile und man müsste doch immer eine "Variable" mitsenden, damit das Script die korrekten Fotos ausliefert.

Ich habe leider keinen blassen Schimmer wie man das macht.

Könnte mir von Euch vielliecht jemand einen Tip geben, gerne auch ein anderes Modul empfehlen womit man solche Ajax-Requests durchführen kann?

Wer hat da Erfahrung und könnte helfen?

Danke schonmal im Voraus!
Gruß Matthias
Last edited: 2018-01-14 11:25:54 +0100 (CET)