Probleme mit HTML::Parser und LWP::UserAgent (Fragen zu Perl-Modulen)

[thread]17268[/thread]

Probleme mit HTML::Parser und LWP::UserAgent

Tags: perl5 Ähnliche Threads

Leser: 16

Articles: hide open all | hide show old branches

+9 replies

fealXX

2012-03-26 13:18

User since
2012-03-26
4 Artikel
BenutzerIn
[default_avatar]

Hallo :)
Ich bin noch neu in Perl unterwegs und stehe vor folgendem Problem:
Ich lade mir die Inhalte einer Website via LWP::UserAgent und suche dann alle Links mit HTML::Parser raus. Das Funktioniert auch problemlos, ich habe dann ein Array mit allen Links.
Versuche ich jetzt aber damit zu arbeiten, genauer, zu erkennen ob http am anfang steht:

Code: (dl )

if($linkziel =~ ("/http/i")){

erkennt er einfach nicht wenn http am Anfang steht.

Suche im Internet hat mir inzwischen verraten das es daran liegen könnte das LWP::Simple nur einen octetstream statt einem Text zurückliefert (obwohl ich nicht ganz verstehe was der Unterschied ist.), also hab ich dann angefangen LWP::UserAgent zu verwenden und den Inhalt über

Code: (dl )

my $inhalt    = $response->decoded_content;

zu holen.
Das hab ich auchschon mit verschiedensten Kombinationen aus encode, decode mit UTF8 bzw latin1 probiert, kein Ergebnis.

Ich hab Windows XP SP3 mit ActivePerl 5.14.2 Build 1402

Gruß
Felix

+8 replies

2012-03-26 13:22

User since
2003-08-04
12208 Artikel
Admin1

2012-03-26T11:18:46 fealXX
Versuche ich jetzt aber damit zu arbeiten, genauer, zu erkennen ob http am anfang steht:
Code: (dl )
if($linkziel =~ ("/http/i")){
erkennt er einfach nicht wenn http am Anfang steht.

also regex funktionieren etwas anders von der syntax her:
if ($linkziel =~ m/^http/i) {
funktioniert es so? (das ^ steht für "am anfang des strings")

lies mal Perldoc:

perlretut

Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:

Wie frage ich & perlintro Wiki:

brian's Leitfaden für jedes Perl-Problem

+7 replies

fealXX

2012-03-26 14:35

User since
2012-03-26
4 Artikel
BenutzerIn
[default_avatar]

Entschuldigung, ich hab mich etwas unklar ausgedrückt, es findet garnichts, egal ob am Anfang, Ende usw.
Auch mit deiner Variante leider nicht. :(

+6 replies

2012-03-26 15:01

User since
2003-08-04
12208 Artikel
Admin1

dann bräuchte man mal eine kleine beispieldatei und den HTML::Parser-code von dir.

an sich funktioniert das nämlich schon:

Code: (dl )

$ perl -wE'
my $linkziel = "http://foo.example/";
if ($linkziel =~ m/^http/i) {
    say "starts with http"
}'
starts with http

gib doch einfach auch mal $linkziel aus, um zu prüfen, ob wirklich das drinsteht, was du erwartest.

Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:

Wie frage ich & perlintro Wiki:

brian's Leitfaden für jedes Perl-Problem

+5 replies

fealXX

2012-03-26 18:46

User since
2012-03-26
4 Artikel
BenutzerIn
[default_avatar]

Wie gesagt, das raussuchen und alles funktioniert problemlos.
Ich kanns mir ausgeben lassen und der zeigt alles wie erwartet an - bis auf die Zeile nach dem Regex..

Code: (dl )

  
#! /usr/bin/perl
use strict;
use warnings;
use Encode;
use HTML::Parser;
use LWP::UserAgent;


my @links;

my $url = "http://google.de/";

my $ua = LWP::UserAgent->new();
my $response = $ua->get($url);
my $inhalt    = $response->decoded_content;

my $p = HTML::Parser->new();
$p->handler(start => \&start_handler,"self,tagname,attr");
$p->parse($inhalt);

foreach my $link (@links){
  my $linkziel = $link->[0];

  if (defined($linkziel)){
    print $linkziel."\n";
    if($linkziel =~ ("/http/i")){
      print "Linktext: ",$link->[1],"\tURL: ",$link->[0],"\n";
    }
  }
}


sub start_handler{
  my ($self, $tag, $attr) = @_;
  return if($tag ne 'a');

  my ($link) = $attr->{href};
  my $text;

  $self->handler(text => sub{$text = shift;},"dtext");
  $self->handler(end => sub
                        {
                          my ($tag) = @_;
                          if  ($tag eq 'a'){
                            push(@links,[$link,$text])
                          }
                        },"tagname");

}

GwenDragon

2012-03-26 18:49
User since
2005-01-17
14782 Artikel
Admin1
Du verwendest match falsch.

Lies bitte mal auch http://perldoc.perl.org/perlrequick.html und http://perldoc.perl.org/perlre.html.

Statt
Code (perl): (dl )

if($linkziel =~ ("/http/i")){
das
Code (perl): (dl )

if($linkziel =~ m/^http/i){
nehmen. ;)
Last edited: 2012-03-26 18:50:56 +0200 (CEST)
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
+2 replies
pq

2012-03-26 18:55
User since
2003-08-04
12208 Artikel
Admin1
2012-03-26T16:46:32 fealXX
Ich kanns mir ausgeben lassen und der zeigt alles wie erwartet an - bis auf die Zeile nach dem Regex..

ja wie gesagt, die regex-syntax ist ja auch falsch!
wenn du es weiterhin falsch verwendest, kann es nie was werden. ich sag das nicht nur so zum spass...
Quote

Code: (dl )

1 2 3

if($linkziel =~ ("/http/i")){ print "Linktext: ",$link->[1],"\tURL: ",$link->[0],"\n"; }
$linkziel =~ ("/http/i")

das matcht folgendes: "slash http slash i" - und das irgendwo im string.

was gibt die print-zeile denn aus? was steht drin?
steht wirklich http... drin?
wenn ja, dann sollte mein code matchen.
probiers doch einfach aus, ich hab dir doch ein vollständiges beispiel gezeigt.
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- fealXX
  
  2012-03-26 19:13
  
  User since
  2012-03-26
  4 Artikel
  BenutzerIn
  
  Du hast natürlich recht, mit /http/i bzw m/http/i ohne Anführungszeichen geht es, das mit den Anführungszeichen hatte ich nicht gesehen, sorry dafür!
  
  Danke an alle :)

Linuxer

2012-03-26 18:56

User since
2006-01-27
3891 Artikel
HausmeisterIn

user image

Wenn ich in Deinem Code genau die Änderung vornehme, die pq bereits angemerkt hat, funktioniert es bei mir:

angepasster Code (+Einrückung bearbeitet)

Code (perl): (dl )

#! /usr/bin/perl
use strict;
use warnings;
use Encode;
use HTML::Parser;
use LWP::UserAgent;


my @links;

my $url = "http://google.de/";

my $ua = LWP::UserAgent->new();
my $response = $ua->get($url);
my $inhalt    = $response->decoded_content;

my $p = HTML::Parser->new();
$p->handler(start => \&start_handler,"self,tagname,attr");
$p->parse($inhalt);

foreach my $link (@links){
  my $linkziel = $link->[0];

  if (defined($linkziel)){
    print $linkziel."\n";
    if($linkziel =~ m/http/i ){
      print "Linktext: ",$link->[1],"\tURL: ",$link->[0],"\n";
    }
  }
}


sub start_handler{
  my ($self, $tag, $attr) = @_;
  return if($tag ne 'a');

  my ($link) = $attr->{href};
  my $text;

  $self->handler(text => sub{$text = shift;},"dtext");
  $self->handler(
      end => sub {
          my ($tag) = @_;
          if ($tag eq 'a'){
              push(@links,[$link,$text])
          }
      },
      "tagname"
  );

}

Ergebnis:

Code: (dl )

http://www.google.de/imghp?hl=de&tab=wi
Linktext: Bilder	URL: http://www.google.de/imghp?hl=de&tab=wi
http://video.google.de/?hl=de&tab=wv
Linktext: Videos	URL: http://video.google.de/?hl=de&tab=wv
http://maps.google.de/maps?hl=de&tab=wl
Linktext: Maps	URL: http://maps.google.de/maps?hl=de&tab=wl
http://news.google.de/nwshp?hl=de&tab=wn
Linktext: News	URL: http://news.google.de/nwshp?hl=de&tab=wn
http://www.google.de/shopping?hl=de&tab=wf
Linktext: Shopping	URL: http://www.google.de/shopping?hl=de&tab=wf
https://mail.google.com/mail/?tab=wm
Linktext: Mail	URL: https://mail.google.com/mail/?tab=wm
http://www.google.de/intl/de/options/
Linktext:  �	URL: http://www.google.de/intl/de/options/
/url?sa=p&pref=ig&pval=3&q=http://www.google.de/ig%3Fhl%3Dde%26source%3Diglk&usg=AFQjCNFjfPavRPBJrOKJS3MB2uzhpfN6zw
Linktext: iGoogle	URL: /url?sa=p&pref=ig&pval=3&q=http://www.google.de/ig%3Fhl%3Dde%26source%3Diglk&usg=AFQjCNFjfPavRPBJrOKJS3MB2uzhpfN6zw
http://www.google.de/history/optout?hl=de
Linktext: Webprotokoll	URL: http://www.google.de/history/optout?hl=de
/preferences?hl=de
https://accounts.google.com/ServiceLogin?hl=de&continue=http://www.google.de/
Linktext: Anmelden	URL: https://accounts.google.com/ServiceLogin?hl=de&continue=http://www.google.de/
/advanced_search?hl=de
/language_tools?hl=de
/intl/de/ads/
/services/
/intl/de/about.html
http://www.google.com/ncr
Linktext: Google.com in English	URL: http://www.google.com/ncr
/intl/de/policies/

meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!

View all threads created 2012-03-26 13:18.