Code für HTML::Parser korrekt? (Fragen zu Perl-Modulen)

[thread]14746[/thread]

Code für HTML::Parser korrekt?

Leser: 24

Articles: hide open all | hide show old branches

+20 replies
Gast Gast

2010-03-01 19:48
Hallo, ich vermute, daran gibt es nichts auszusetzen:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

... use HTML::Parser; my $parser = HTML::Parser->new; $parser->handler( start => \&start_handler, 'tagname, self' ); $parser->parse( $content ); sub start_handler { return if shift ne 'li'; my $self = shift; $self->handler( start => \&title_handler , 'tagname, attr' ); sub title_handler { return if shift ne 'a'; my $title = shift->{title}; return unless $title; if ( $title =~ /\Q$name\E/sm ) { say $title; } } }
//Modedit: Titel geändert
Last edited: 2010-03-02 10:37:06 +0100 (CET)
- Linuxer
  
  2010-03-01 20:05
  
  User since
  2006-01-27
  3891 Artikel
  HausmeisterIn
  
  Warum vermutest Du das?
  
  Ich hätte was auszusetzen.
  1. Du hast keine Frage formuliert, finde ich nicht gut.
  
  2. Den Beginn Deiner start_handler() Methode finde ich nicht gut, (edit) aber ich kenne dieses Parser Modul nicht gut genug, um zu beurteilen, ob start_handler() mal als Methode und mal als Funktion aufgerufen wird...(/edit)
  Last edited: 2010-03-01 20:07:33 +0100 (CET)
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- pq
  
  2010-03-01 20:09
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  FaqBenutzungModuleHTMLParser
  
  die zwei verschachtelten subroutinen sind nicht gut. das sollte man nicht tun. eine sub ist sowieso auch ausserhalb gültig.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +17 replies
- betterworld
  
  2010-03-01 20:10
  
  User since
  2003-08-21
  2614 Artikel
  ModeratorIn
  
  Das sieht so aus, als ob Du mit der Verschachtelung der Subroutinen nach verschachtelten HTML-Tags suchen willst. Ich bin mir recht sicher, dass das *so* nicht geht. Verschachtelte Subroutinen gibt es in Perl auch gar nicht in dieser Form.
  
  Ist Deine Frage damit beantwortet?
  Lieblingsmodule: IPC::System::Simple, Path::Class
  - +12 replies
  - Gast gast
    
    2010-03-01 22:23
    
    Danke für die Tips; werde es mit der zweiten Subroutine außerhalb versuchen.
    - +6 replies
    - Gast Gast
      
      2010-03-02 08:36
      
      Sieht schöner aus und funktiniert immer noch:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
      
      use HTML::Parser; my $parser = HTML::Parser->new; $parser->handler( start => \&start_handler, 'tagname, self' ); $parser->parse( $content ); sub start_handler { return if shift ne 'li'; my $self = shift; $self->handler( start => \&title_handler , 'tagname, attr' ); } sub title_handler { return if shift ne 'a'; my $title = shift->{title}; return unless $title; if ( $title =~ /\Q$name\E/sm ) { say $title; } }
      
      Mich hat überhaupt gestört, dass ich für das Suchen nach verschatelten HTML-Tags zwei Subroutinen brauche, aber das wird vermutlich mit diesem Modul nur so funktionieren.
      
      Mit XML::LibXML würde es schöner aussschauen. Leider sind diesem Modul viel HTML-Seiten nicht gut genug.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8
      
      use XML::LibXML; my $parser = XML::LibXML->new; my $doc = $parser->parse_html_string( $content ); my @nodes = $doc->findnodes( '//li/a[@title]' ); for my $node ( @nodes ) { say $node->nodeName, " ", $node->string_value; }
      
      Außerdem dachte ich, dass hier soetwas funktionieren würde:
      
      Code (perl): (dl )
      
      my @nodes = $doc->findnodes( '//li/a[@title] =~ /regex/' );
      
      Das scheint aber nicht zu funktionieren.
      - +2 replies
      - sid burn
        
        2010-03-02 10:26
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Ich würde HTML::Query empfehlen. Zumindest mein bevorzugtes Modul um Sachen aus HTML auszufiltern.
        
        Code (perl): (dl )
        
        1 2 3 4 5 6
        
        use HTML::Query; ... my $q = HTML::Query->new( text => $text ); my @nodes = $q->query("li a[title=$title]");
        
        Ansonsten wenn die Suche auf dem title komplexer ist als ein simpler vergleich musst du eben @nodes selber durchgehen und nochmal manuell ausfiltern.
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
        
        Gast Gast
        
        2010-03-02 10:52
        
        Mit XML::Twig habe ich es jetzt auch mit regex-suche hinbekommen:
        
        Code (perl): (dl )
        
        1 2 3
        
        use XML::Twig; my $t= XML::Twig->new( twig_handlers => { '//li/a[@title=~ /Bra/]' => sub { say $_->text } } ); $t->parsefile( 'temp_html.html');
        
        Aber das Modul wird vermutlich auch nicht alle HTML-Seiten schlucken.
      - +3 replies
      - pq
        
        2010-03-02 11:11
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        wieso nimmst du nicht HTML::TreeBuilder::XPath?
        musst du gleich sagen, dass du auch andere module willst. dein erstes posting war ja ein bisschen wenig info.
        neulich fragte schonmal jemand wegen HTML::Parser, dem hab ich auch treebuilder empfohlen, aber er meinte, er will das mit HTML::Parser machen.
        wenn man aber weiss, dass du auch andere module in erwägung ziehst, kann man diesbezüglich auch tipps geben. ich find treebuilder toll. dank xpath sollte der zugriff ähnlich wie bei XML::LibXML funktionieren.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +2 replies
        
        Gast Gast
        
        2010-03-02 16:11
        
        Mit HTML::TreeBuilder::XPath habe ich regex im XPath hinbekommen mit HTML::Query nicht:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8
        
        use HTML::TreeBuilder::XPath; my $tree= HTML::TreeBuilder::XPath->new; $tree->parse_file( 'temp_html.html'); my @v=$tree->findnodes_as_strings( '//li/a[@title=~ /Bra/]' ); say for @v; $tree->delete;
        
        Code (perl): (dl )
        
        1 2 3 4 5 6
        
        use HTML::Query 'Query'; my @p = Query( file => 'temp_html.html', 'li a[title]' ); for ( @p ) { say $_->as_trimmed_text if $_->as_trimmed_text =~ /Bra/; }
        
        CPAN == Wildwuchs
        
        sid burn
        
        2010-03-02 16:48
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Deine beiden Code Schnipsel machen auch etwas anderes.
        
        Dein Beispiel mit XPath geht über das "title" Attribut und matcht darüber und beim HTML::Query Beispiel gehst du über den text inhalt des a Tags und matcht darüber, zwei komplett unterschiedliche Dinge. Wenn du bei HTML::Query ein Attribut auslesen willst musst du die "attr" Methode vom HTML::Element Objekt aufrufen.
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
    - +5 replies
    - Gast Gast
      
      2010-03-02 18:27
      
      Was stimmt hier nicht? (Use of uninitialized value $text)
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
      
      $parser->handler( start => \&start_handler, 'tagname, self' ); $parser->parse( $content ); sub start_handler { return if shift ne 'li'; my $self = shift; $self->handler( start => \&title_handler, 'tagname, attr, self' ); } sub title_handler { my( $tagname, $attr, $self ) = @_; return if $tagname ne 'a'; return unless $attr->{title}; my $text; $self->handler( text => sub{ $text = shift; }, 'dtext' ); say "$text: $attr->{href}"; # Use of uninitialized value $text in concatenation (.) or string }
      - +4 replies
      - Gast wer
        
        2010-03-02 20:05
        
        du weist nur einen Handler zu, das heißt aber nicht, dass er zu diesem Zeitpunkt auch was gefunden hat. Erst bei "parse" werden die Handler ausgeführt, solange ist "$text" nicht definiert.
        
        +3 replies
        
        Gast Gast
        
        2010-03-03 12:01
        
        Kannst du mir einen kleine Tipp geben, was ich ändern muss?
        
        Gast wer
        
        2010-03-03 12:17
        
        Mit diesen actionbasierten Parsern bin ich nicht warm geworden. Versuch mal das, weiß nicht ob das so funktioniert und auch so gedacht ist.
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
        
        use Data::Dumper; my $parser->handler( start => \&start_handler, 'tagname, self' ); $parser->parse( $content ); print Dumper($parser->{_my_vars}); sub start_handler { return if shift ne 'li'; my $self = shift; $self->handler( start => \&title_handler, 'tagname, attr, self' ); } sub title_handler { my( $tagname, $attr, $self ) = @_; return if $tagname ne 'a'; return unless $attr->{title}; my $cnow=$self->{_my_vars}->{count} || 0; $self->{_my_vars}->{count}++; $self->handler( text => sub{ $self->{_my_vars}->[$cnow]->{text} =shift(); }, 'self, dtext' ); $self->{_my_vars}->[$cnow]->{href}=$attr->{href}; }
        
        Gast gast
        
        2010-03-03 14:04
        
        Ich darf den $text erst in einem end_handler abfragen?
  - +4 replies
  - Kalle
    
    2010-03-02 20:44
    
    User since
    2007-03-18
    48 Artikel
    BenutzerIn
    
    2010-03-01T19:10:12 betterworld
    ... Verschachtelte Subroutinen gibt es in Perl auch gar nicht in dieser Form....
    
    Und das find ich öfter mal sehr schade. Wär das nicht gut, wenn genau solche subs in einer sub z.B. den Namensraum der parent sub als globale Variablen wahrnehmen könnten ? Zusätzlich zu den global definierten an sich.
    Wenn man bissel TK macht hat man für jede Kleinigkeit schnell ein Rudel subs zusammen, die mit dem Rest des Programms nicht viel zu tun haben. Wäre praktisch, wenn diese dann bequemer auf gemeinsam zu nutzende Variablen zugreifen könnten, ohne exzessive Parameterübergabeorgien zu betreiben :)
    Also ich hätte Verwendung dafür.
    
    Mir fällt da noch das eine oder andere ein. Kann man irgendwo features requesten ? :)
    - +2 replies
    - pq
      
      2010-03-02 20:48
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      für sowas gibts ja die möglichkeit, es in module auszulagern.
      alternativ, wenn man es unbedingt in einer datei haben will, auch anonyme subs, die dann nur in dem block gültig sind.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - murphy
        
        2010-03-03 00:57
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        Man kann den anonymen Subroutinen auch Namen geben ;-)
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13
        
        sub outer { my ($x) = @_; my $inner = sub { # $x ist hier sichtbar! } # inner kann man aufrufen... $inner->(...); # ...oder als Wert übergeben return $inner; }
        
        When C++ is your hammer, every problem looks like your thumb.
    - sid burn
      
      2010-03-03 12:56
      
      User since
      2006-03-29
      1520 Artikel
      BenutzerIn
      
      Quote
      Und das find ich öfter mal sehr schade. Wär das nicht gut, wenn genau solche subs in einer sub z.B. den Namensraum der parent sub als globale Variablen wahrnehmen könnten ?
      
      häh?
      
      Quote
      Zusätzlich zu den global definierten an sich.
      
      Du nutzt globale Variablen?
      
      Quote
      Wenn man bissel TK macht hat man für jede Kleinigkeit schnell ein Rudel subs zusammen, die mit dem Rest des Programms nicht viel zu tun haben. Wäre praktisch, wenn diese dann bequemer auf gemeinsam zu nutzende Variablen zugreifen könnten, ohne exzessive Parameterübergabeorgien zu betreiben :)
      
      Dafür kann man Closures nutzen.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9
      
      { # neuer lexikalischer block my ( $x, $y, $z ) = ( 42, 42+1, 42+2 ); sub foo { } sub bar { } }
      
      In diesem Beispiel ist $x, $y und $z in foo() und bar() verfügbar und werden praktisch "geshared".
      
      Wenn du allerdiengs Probleme mit zu vielen Parametern hast, hört sich das an als wenn du evtl. OOP nutzen solltest. ;)
      Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de

View all threads created 2010-03-01 19:48.