Zugriff auf SPAN Elemente (gelöst) (Fragen zu Perl-Modulen)

[thread]18496[/thread]

Zugriff auf SPAN Elemente [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 20

Articles: hide open all | hide show old branches

+10 replies
EdisonR1

2013-08-05 15:27
User since
2013-08-05
4 Artikel
BenutzerIn
Hallo zusammen,

ich versuche seit längerem das folgende Problem zu lösen:

Ich möchte einfach nur über ein perl Script auf ein span Element einer Seite zugreifen. Allerdings sind sämtliche Versuche, ob nun LWP::Simple oder WWW::Mechanize gescheitert.

Ich bekomme den Seiteninhalt immer nur als HTML-Seite roh ausgegeben d.h das Element, das ich ansprechen möchte ist dort gar nicht mehr vorhanden, wenn ich den Seiteninhalt mit print $browser->content() ausgebe.

Wenn ich hingegen mit dem Browser die html manuell mit chrome vollständig abspeichere, dann finde ich auch den Inhalt, den ich auf der Seite (siehe Code) suche. Unter dem Reiter "Horoskop" dann des Sternzeichen "Steinbock" Steinbock möchte ich durch den perl Script gezielt ansprechen.

Es müsste theoretisch möglich sein das WWW::Mechanize Objekt hier $browser einen bestimmten Pfad anzusprechen wenn sich das Objekt wie ein Browser verhält?

Könnt ihr mir helfen ich weiß nicht mehr weiter..
Code: (dl )

1 2 3 4 5 6 7 8 9

#!/usr/bin/perl -w use WWW::Mechanize; my $browser = WWW::Mechanize->new(); $browser->get("http://www.web.de/"); die $browser->responce->status_line unless $browser->success; print $browser->content();
- GwenDragon
 
 2013-08-05 15:29
 
 User since
 2005-01-17
 14748 Artikel
 Admin1
 
 Schau dir mal HTML::DOM an ;)
 
 Solange die Webseite kein Javascript verwendet wird das wohl gehen mit LWP und WWW-Mechanize zu holen und HTML-DOM zu parsen..
 Last edited: 2013-08-05 15:32:36 +0200 (CEST)
 die Drachin Gwen
 
 Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +5 replies
- clms
 
 2013-08-05 16:29
 
 User since
 2010-08-29
 373 Artikel
 BenutzerIn
 
 2013-08-05T13:27:42 EdisonR1
 Ich bekomme den Seiteninhalt immer nur als HTML-Seite roh ausgegeben d.h das Element, das ich ansprechen möchte ist dort gar nicht mehr vorhanden, wenn ich den Seiteninhalt mit print $browser->content() ausgebe.
 
 Was heist das?
 
 Bekommst Du den sichtbaren Text ohne HTML-Markup ausgegeben? Bekommst Du ein anderes HTML ausgegeben, als das, was Dir Dein Browser als "Source" anzeigt?
 
 Zwei Ideen:
 a) evtl. liefert der Webserver an Dein Perl-Script anderen Inhalt aus als Deinen Browser. Dann musst Du Deinen Request anpassen.
 
 b) Ich kenne mich mit WWW::Mechanize nicht aus. Laut Doku kann man dort mit ...->content(format => 'text') das HTML-Markup rausfiltern. Evtl. hast du dies oder irgendeinen anderen HTML-Filter eingeschaltet.
 - +4 replies
 - EdisonR1
 
 2013-08-05 17:03
 User since
 2013-08-05
 4 Artikel
 BenutzerIn
 
 wenn ich unter chrome rechte Maustaste->Element untersuchen klicke "Steinbock" kann ich im HTML Dokument zu Steinbock abtauchen.
 
 Allerdings wenn ich die Seite mit perl Script einlese und in eine Datei als .html ausgebe ist das Element dort gar nicht mehr vorhanden sondern nur das HTML Grundgerüst.
 
 Vielleicht kann man irgendwie durch eine Methode es trotzdem ansprechen obwohl der Inhalt bei der Ausgabe anders/weniger ist.
 
 Quote
 Bekommst Du den sichtbaren Text ohne HTML-Markup ausgegeben? Bekommst Du ein anderes HTML ausgegeben, als das, was Dir Dein Browser als "Source" anzeigt?
 
 Es ist schon gleich es ist nur so, dass bestimmte Teile einfach fehlen
 Zum Beispiel fehlt der http://web.de/magazine/bundestagswahl/.... link in der ausgegeben Datei ist:
 
 Ausschnitt aus der vollständigen HTML:
 
 Code: (dl )
 
 1 2
 
 Wie die Parteien ab September die Familienpolitik gestalten wollen. </a> <a href="http://web.de/magazine/bundestagswahl/wahlprogramme/17651494-bundestagswahl-2013-familie-jugend-blick.html">mehr</a>
 
 Ausschnitt aus der ausgegeben Datei mit print $browser->content():
 
 Code: (dl )
 
 1 2 3
 
 Wie die Parteien ab September die Familienpolitik gestalten wollen. mehr
 
 modedit Editiert von GwenDragon: automatisch erzeugten Link entfernt
 Last edited: 2013-08-06 10:41:22 +0200 (CEST)
 - +3 replies
 - GwenDragon
 
 2013-08-06 10:55
 
 User since
 2005-01-17
 14748 Artikel
 Admin1
 
 Die Webseite fügt Inhalte über Javascript mit AJAX ein. Deswegen fehlen teilweise Inhalte wenn du WWW-Mechanize (das kann kein JS) verwendest.
 
 Vielleicht klappt es mit WWW::Mechanize::Firefox besser.
 die Drachin Gwen
 
 Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
 - +2 replies
 - Daxim
 
 2013-08-06 11:28
 
 User since
 2007-08-01
 114 Artikel
 BenutzerIn
 
 Es gibt mehr Alternativen: Which modules work like Mechanize and have JavaScript support?
 
 Bitte verlinke immer diese Doku, ich möchte sie nicht umsonst geschrieben haben. Mech::Firefox ist fast nie die beste Wahl.
 
 GwenDragon
 
 2013-08-06 11:48
 
 User since
 2005-01-17
 14748 Artikel
 Admin1
 
 Danke für den Hinweis. Ich versuchs mir zu merken.
 die Drachin Gwen
 
 Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +2 replies
- bianca
 
 2013-08-05 18:40
 
 User since
 2009-09-13
 7016 Artikel
 BenutzerIn
 
 Ich gehe davon aus, dass web. de erkennt, dass du einen Roboter verwenden willst und deshalb anderen Content ausgibt.
 In diesen Fall würde ich versuchen, einen anderen Browser vorzutäuschen, bei WWW::Mechanize geht das mit dem Parameter agent in der new() Methode.
 Als zweites würde ich im Quelltext mal nach Hinweisen auf eine Weiterleitung suchen. Manchmal geht das im Browser so schnell, dass man das nicht sieht. Dann müsste man dieser Weiterleitung im Script aber auch erst folgen, bevor man zur Zielseite kommt.
 10 print "Hallo"
 20 goto 10
 - EdisonR1
 
 2013-08-12 09:09
 
 User since
 2013-08-05
 4 Artikel
 BenutzerIn
 
 Vielen Dank nochmals an alle für eure Antworten,
 
 ich denke dass Inhalt der Seite soll einfach anders als erwartet sein deswegen kann ich das nicht abrufen wie es Bianca geschrieben hat, weil bei anderen Seiten klappt das ja.
 
 Danke euch nochmals für die Mithilfe!
- GwenDragon
 
 2013-08-06 11:52
 User since
 2005-01-17
 14748 Artikel
 Admin1
 Du hast in deinem Code:
 
 Code (perl): (dl )
 
 die $browser->responce->status_line unless $browser->success;
 
 Das muss garantiert
 
 Code (perl): (dl )
 
 die $browser->response->status_line unless $browser->success;
 
 sein. Das ist auch schön zu sehen in WWW::Mechanize::FAQ nachzulesen.
 
 Editiert von GwenDragon: Url zur FAQ falsch
 Last edited: 2013-08-06 11:55:28 +0200 (CEST)
 die Drachin Gwen
 
 Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2013-08-05 15:27.