RE recursion (Allgemeines zu Perl)

[thread]19031[/thread]

RE recursion

Tags: perl5 regex Ähnliche Threads

Leser: 17

Articles: hide open all | hide show old branches

+25 replies
linuxCowboy

2014-04-15 20:19

User since
2014-01-29
30 Artikel
BenutzerIn

Ich hänge fest:

<div ...><div ...</div>Text<div ..</div>..</div>Text

Ich brauche auch den Text in dem div!

etwa:

$text =~ s#<div ((<div )*.*</div>|(?R))*.*</div>##sg;

oder:

$text =~ s#<div .*?((<div ).*?</div>|(?R))*?.*?</div>##sg;
- +18 replies
- Linuxer
  
  2014-04-15 22:08
  
  User since
  2006-01-27
  3890 Artikel
  HausmeisterIn
  
  Ich sehe nur eine Feststellung. Wo ist Deine Frage? Und wie lautet die?
  Ein sehr dürftige Ausgangssituation/Beschreibung, finde ich.
  
  Schau mal dort: HTML::Parser; falls der Link nicht will, dort: http://search.cpan.org/perldoc?HTML::Parser
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +17 replies
  - linuxCowboy
    
    2014-04-15 23:17
    
    User since
    2014-01-29
    30 Artikel
    BenutzerIn
    
    oder so:
    
    $text =~ s#<div .*?((<div )*?.*?(?(1)</div>))*.*?</div>##sg;
    
    Er schneidet zu viel weg oder zu wenig.
    
    Ich brauche nur den Text. Alle div mit Inhalt sollen weg.
    Problem: die Tag's überlappen sich!
    - +5 replies
    - jan
      
      2014-04-15 23:20
      
      User since
      2003-08-04
      2536 Artikel
      ModeratorIn
      
      HTML parst man nicht mit RegExps. Nimm einen HTML-Parser, wie linuxer vorschlug. Ich mag HTML::TreeBuilder lieber.
      - +4 replies
      - linuxCowboy
        
        2014-04-15 23:47
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Danke.
        
        Ich habe die faq gelesen: XML::Parser und HTML::Parser.
        
        Aber auch pcrepattern. Wenn auch - offensichtlich - nicht alles verstanden ;-)
        
        Dort gibt es z.B. das Feature "RECURSIVE PATTERNS".
        
        So ein Modul heißt doch eigentlich auch nur, daß jemand, der die Sache verstanden hat, das dann implementiert hat.
        
        Ich würde es auch gern verstehen (und dann zu Fuß programmieren). Ich bin überzeugt, dass das featurereiche Perl in den üppigen manpages ein Lösung parat hat.
        
        Wenn ich sie schon wüßte, bräuchte ich hier nicht fragen...
        
        ...jetzt muss ich nur noch jemanden finden, der das selbst verstanden hat und nicht nur auf irgendwelche Module verweist ;-)
        
        +2 replies
        
        Raubtier
        
        2014-04-16 08:31
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        2014-04-15T21:47:11 linuxCowboy
        Danke.
        
        Ich habe die faq gelesen: XML::Parser und HTML::Parser.
        
        Aber auch pcrepattern. Wenn auch - offensichtlich - nicht alles verstanden ;-)
        
        Dort gibt es z.B. das Feature "RECURSIVE PATTERNS".
        
        So ein Modul heißt doch eigentlich auch nur, daß jemand, der die Sache verstanden hat, das dann implementiert hat.
        
        Nein, das heißt es nicht. HTML-Parser gab es außerdem schon, bevor rekursive Patterns in Perl implementiert wurden.
        
        Was machst du außerdem, wenn jemand noch irgendwo ein  eingebaut hat? Man kommt zwar mit REs sehr schnell zum Ziel, wenn man das genaue HTML kennt, aber die Parser sind allgemein.
        
        Allerdings frage ich mich bei deinem Ausgangsstring
        <div ...><div ...</div>Text<div ..</div>..</div>Text, ob der wirklich so aussieht. Also zum Beispiel ein fehlendes > beim 2. div. Oder soll das in den .. enthalten sein? Wenn es nämlich ungültiges HTML ist, kannst du mit Parsern Probleme bekommen.
        
        linuxCowboy
        
        2014-04-16 09:32
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Quote
        zum Beispiel ein fehlendes > beim 2. div
        
        Stimmt, das ist inkonsequent. Ist in den .. enthalten. Der Punkt ist, dass das schließende /div nicht sofort steht.
        
        Die Kommentare nehme ich raus, indem ich genau nach "<div " parse.
        
        Stand ist z.Z. dass ich den rip zu Fuß erledige. Ich incr/decr einen Counter!
        
        Gast wer
        
        2014-04-16 10:35
        
        die parser arbeiten nicht wie du denkst. sie arbeiten sich häppchenweise durch das html und bauen eine datensruktur mit kindern und eltern auf. bei der kannst du dann teile des baums weg werfen.
        Last edited: 2014-04-16 11:04:52 +0200 (CEST)
    - Muffi
      
      2014-04-15 23:31
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      Es gibt Leute, die haben das Talent etwas dreimal zu erklären und man weiß immer noch nicht was gemeint ist.
      Willst du vielleicht einfach (öffnende und schliessende) HTML-div-tags löschen?
      1 + 1 = 10
    - +10 replies
    - Gast wer
      
      2014-04-15 23:32
      
      der string beginnt mit ^.*?<div[^>]*> und endet mit eben so vielen <\/div>.*?$
      
      also:
      
      Code (perl): (dl )
      
      1 2 3
      
      my $result=$txt; 1 while($restult=~s!^.*?<div[^>]*>(.*)</div>.*?$!$1!s); print $result;
      
      aber das ist das der grund für html-parser. html ist hirarchisch. ohne das zu beachten machst du dir leicht das html kaputt.
      Last edited: 2014-04-16 00:12:36 +0200 (CEST)
      - +9 replies
      - linuxCowboy
        
        2014-04-16 00:40
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Danke. Das funktioniert, wenn jedem div sofort sein /div folgt.
        
        Wie im Eingangspost dargestellt, ist das hier nicht der Fall.
        
        Mein best-shot ist z.Z.:
        
        $text =~ s#<div .*?(?(?=<div )(?R)).*?</div>##sg;
        
        Rekursiert offenbar, es bleiben aber immer noch die verschachtelten schließenden /div stehen!?
        
        +8 replies
        
        Gast wer
        
        2014-04-16 10:19
        
        zeig mal wirklichen html-code und nicht das wovon du denkst das die richtige regexp. ich habe zur zeit keine ahnung wie die divs auf welche weise ineinander verschachtelt sind. ich den eindruck das das html von dir kaputt ist. bitte gib mal eine vollständige html sequenz an die gesäubert werden soll.
        Last edited: 2014-04-16 11:04:56 +0200 (CEST)
        
        +7 replies
        
        linuxCowboy
        
        2014-04-17 00:17
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Eingabestring:
        
        Code: (dl )
        
        '<div > <div > </div><div > not_show_1 </div> </div> show_1 <div > <div > <div > not_show_2 </div> </div> </div> show_2'
        
        Erwartete Ausgabe:
        
        Code: (dl )
        
        1 2
        
        show_1 show_2
        
        ==>also alles in div-tags inklusive soll weg
        
        Weiteres:
        weder die Verschachtelungs-Tiefe noch die Anzahl sind fix
        
        Feinheiten wie extra \s oder \w sollte ich dann selber hinbekommen
        
        HTML::Parser ist mit (noch) zu obskur. Ganz schöner Aufwand! Ich kann ihm noch nicht verklickern, zwischen show und not_show zu unterscheiden.
        
        Da dies hier aber ein definierter String ist, sollte sich das doch mit einer rekursiven regex lösen lassen!??
        
        +6 replies
        
        jan
        
        2014-04-17 07:08
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        2014-04-16T22:17:54 linuxCowboy
        Eingabestring:
        
        Code: (dl )
        
        '<div > <div > </div><div > not_show_1 </div> </div> show_1 <div > <div > <div > not_show_2 </div> </div> </div> show_2'
        
        Erwartete Ausgabe:
        
        Code: (dl )
        
        1 2
        
        show_1 show_2
        
        ==>also alles in div-tags inklusive soll weg
        
        Dafür brauchst Du nicht mal rekursion:
        
        Code: (dl )
        
        1 2 3
        
        my $string = '<div > <div > </div><div > not_show_1 </div> </div> show_1 <div > <div > <div > not_show_2 </div> </div> </div> show_2'; $string =~ s!<div[^>]+>[^<]+</div>!!g while($string =~ m/<div[^>]+>/); print $string . "\n";
        
        =>
        
        Quote
        show_1 show_2
        
        +5 replies
        
        linuxCowboy
        
        2014-04-17 10:57
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Anerkennung für die Idee, den String in eine Schleife zu stecken statt des global-Flags!!!
        
        Code: (dl )
        
        1 2 3 4
        
        S='<div > <div > </div><div > not_show_1 </div> </div> show_1 <div > <div > <div > not_show_2 </div> </div> </div> show_2' echo $S | perl -pe 's!$1[^<]+</div>!! while (/(<div[^>]+>)/)' show_1 show_2
        
        Leider muss ich den Eingansstring nochmal entscheidend modifizieren:
        
        '<div > <div > </div><div > not_show_1 </div> </div> show_1 <div > <a > not_show_2 <i /> </a> <s> </s> </div> show_2'
        
        Öffnende Klammern können nicht nur vom div stammen, sondern auch von anderem Trash dazwischen!
        
        Man kann dann wohl nicht mehr nur nach einem nicht erlaubten Zeichen scannen, sondern braucht einen ganzen String. Damit kämpfe ich schon die ganze Zeit. In der manpage steht nur ein Beispiel mit einem einzelnen Zeichen, einer verschachtelten Klammer.
        
        Als Not-String fällt mir nur negative-lookahead ein. Ist aber eine zero-assertion und frisst keine Zeichen!??
        
        +4 replies
        
        Raubtier
        
        2014-04-17 11:35
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        Code: (dl )
        
        echo $S | perl -wpE's!<\w+\s*/>!!g; s!<(\w+)[^>]*>[^<]*</\1>!!g while /<\w+[^>]*>/'
        
        Du kannst jetzt weiter dran rumwerkeln und wirst immer wieder Probleme finden oder du guckst dir mal einen HTML-Parser an.
        
        GwenDragon
        
        2014-04-17 12:11
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        2014-04-17T09:35:33 Raubtier
        Du kannst jetzt weiter dran rumwerkeln und wirst immer wieder Probleme finden (...)
        Ja, dieser Nutzer neigt zu Regex-Masochismus.
        Aber wenn er weiterhin tolle Regexe programmieren will, kann er's ja machen, er lernt irgendwann dass es sinnlos und schlecht pflegbar ist, einen "Parser" oder Filter per Regex zu bauen.
        
        2014-04-17T09:35:33 Raubtier
        (...) oder du guckst dir mal einen HTML-Parser an.
        Ich habe mich erbarmt und ihm was gezeigt.
        Ist ja nicht mehr anzusehen, diese elenden Regexwürmer. ;)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        linuxCowboy
        
        2014-04-17 17:12
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Klasse Idee! Man kickt erst das </> global und nimmt dann eine back reference!!
        
        Dank dir.
        
        Quote
        Du kannst jetzt weiter dran rumwerkeln...
        
        Yipp. Ich passe ständig meine Scripte an. Das ist absoluter Fun! :-)
        
        linuxCowboy
        
        2014-04-19 09:37
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Recursion:
        s!<(\w+)[^>]*>([^<]*|(?R))*</\1>!!g;
        
        entspricht:
        s!<(\w+)[^>]*>[^<]*</\1>!!g while /<\w+[^>]*>/;
        
        Code: (dl )
        
        1 2 3 4
        
        S='<div > <div > </div><div > not_show_1 </div> </div> show_1 <div > <a > not_show_2 <i /> </a> <s> </s> </div> show_2' echo $S | perl -pe 's!<\w+\s*/>!!g; s!<(\w+)[^>]*>([^<]*|(?R))*</\1>!!g;' show_1 show_2
        
        Nur zuerst die self-closing tags entfernen und eine backreference verwenden!
        
        :-)
        
        We choose to go to the moon not because it is easy, but because it is hard!
- +6 replies
- GwenDragon
  
  2014-04-16 10:26
  User since
  2005-01-17
  14748 Artikel
  Admin1
  Wenn es ein Denkspiel sein soll, kann mann ja mit Regex HTML parsen. ;)
  Sowas habe ich mal um 2002 mit Perl und RegEx als Anfägerin in Skripten verbockt. Geht auch ... bis es eben irgendwann nicht mehr klappt. Seit Jahren nutze ich deswegen HTML::Parser.
  
  Bitte mal lesen:
  
  http://stackoverflow.com/questions/6751105/why-its...
  http://blog.codinghorror.com/parsing-html-the-cthu...
  http://htmlparsing.com/regexes.html
  http://blogs.perl.org/users/kirk_kimmel/2012/08/q-...
  
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - linuxCowboy
    
    2014-04-16 11:03
    
    User since
    2014-01-29
    30 Artikel
    BenutzerIn
    
    Danke für die Links!
    
    Quote
    There is no day on SO that passes without a question about parsing (X)HTML or XML with regular expressions being asked.
    
    :)
    
    Quote
    ...HTML::Parser
    
    Wenn selbst GwenDragon das empfiehlt, muss ich's mir wohl mal ansehen! ;-)
    
    Ich habe die Counter-Lösung zur Hälfte fertig. Schönes Denkspiel... :=)
  - +4 replies
  - GwenDragon
    
    2014-04-17 12:07
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43
    
    #!/usr/bin/perl package FilterDiv; require HTML::Filter; @ISA = qw(HTML::Filter); sub start { my $self = shift; $self->{div_seen}++ if $_[0] eq "div"; $self->SUPER::start(@_); } sub end { my $self = shift; $self->SUPER::end(@_); $self->{div_seen}-- if $_[0] eq "div"; } sub output { my $self = shift; unless ( $self->{div_seen} ) { $self->SUPER::output(@_); } } 1; my $p = FilterDiv->new or die; $p->parse_file(*DATA) or die; __DATA__ <b>a</b> <div > 123<div >aaaa</div> Text <div .. >a</div > .. </div > Text
    
    ergibt:
    
    <b>a</b> Text
    Last edited: 2014-04-17 12:13:01 +0200 (CEST)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +3 replies
    - linuxCowboy
      
      2014-04-17 17:27
      
      User since
      2014-01-29
      30 Artikel
      BenutzerIn
      
      Danke für den Code.
      
      Ich habe allerdings in "Intermediate Perl" bisher nur mal reingeschaut. Bis ich diesen Stuff effektiv nutzen kann, halte ich mich an die einfachen Sachen. Wie die regexe's. Ein Top-Feature von Perl. Ich liebe es!
      
      Und dreißig Zeilen Code zu schreiben, wo es auch eine regexe tut, ist jetzt auch nicht so motivierend... ;-)
      - +2 replies
      - GwenDragon
        
        2014-04-17 17:37
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        2014-04-17T15:27:48 linuxCowboy
        Und dreißig Zeilen Code zu schreiben, wo es auch eine regexe tut, ist jetzt auch nicht so motivierend... ;-)
        Warte erst mal bis deine Regexe zwei Meter lang sind! Oder du die nach einem Jahr oder länger dann ändern und die "Struktur" wieder neu erkennen musst, dann wünscht du dir einfache Module.
        ;)
        
        Viel Spaß beim Kampf mit den Regexes. Zeit zum Lernen hast du ja. :)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        linuxCowboy
        
        2014-04-17 17:45
        
        User since
        2014-01-29
        30 Artikel
        BenutzerIn
        
        Quote
        Viel Spaß beim Kampf mit den Regexes.
        
        Danke. Werde ich haben.
        
        Quote
        Zeit zum Lernen hast du ja.
        
        Zur Zeit leider nicht mehr so viel. Und du hast 10 Jahre Vorsprung! ;)
        Last edited: 2014-04-18 20:33:33 +0200 (CEST)

View all threads created 2014-04-15 20:19.