Suche und Ersetzen von <?php und <!-- (gelöst) (Allgemeines zu Perl)

[thread]16225[/thread]

Suche und Ersetzen von <?php und <!-- [gelöst]

Tags: perl5 regex Ähnliche Threads

Leser: 23

Articles: hide open all | hide show old branches

+16 replies
newperler

2011-04-26 19:20
User since
2011-04-26
20 Artikel
BenutzerIn
Ein herzliches Hallo an alle, mein Newbie-Post als Perl-Neuling.....

Ich versuche in einem vorhandenen Suchscript vor Ausgabe der Ergebnisseite aus dem $contents zwei Tag-Arten automatisiert zu löschen und komme nicht wirklich weiter.

Gesucht werden soll nach:
<?php irgendwas ?>, die gefundenen Tags sollen komplett aus $contents gelöscht werden.
, die gefundenen Tags sollen komplett aus $contents gelöscht werden.
Code (perl): (dl )

1 2

$contents =~ s/(<?php.*?>)/ /gsi; $contents =~ s/<\s*!--\s*(.*?)\s*--\s*>//gsi;
Die obige Absätze laufen nicht richtig, wer kann helfen?

(Ich bin ein absoluter Perl-Neuling und habe versucht, die obigen Code-Zeilen aus einer analogen Funktion zu übernehmen....)
Last edited: 2011-04-26 19:23:27 +0200 (CEST)
- +6 replies
- pq
  
  2011-04-26 19:26
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  naja, das fragezeichen ist ein zeichen mit besonderer bedeutung in regexes.
  x? bedeutet, matche auf "x", und das 0 oder 1 mal.
  du musst ein fragezeichen also escapen.
  dann kommst du auf folgendes:
  $contents =~ s/(<\?php.*\?>)/ /gsi;
  das wiederum wird auch noch nicht ganz reichen, da es dir bei mehr als einem tag den kompletten content zwischen den tags auch mit löschen wird. weil nämlich .* "greedy" ist, d.h. es matcht soviel wie möglich.
  lösung:
  $contents =~ s/(<\?php.*?\?>)/ /gsi;
  
  hinter einem .* hat das fragezeichen die funktion: "mache den vorhergehenden ausdruck non-greedy".
  
  http://p3rl.org/perlretut
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +5 replies
  - newperler
    
    2011-04-26 21:23
    User since
    2011-04-26
    20 Artikel
    BenutzerIn
    
    2011-04-26T17:26:37 pq
    $contents =~ s/(<\?php.*?\?>)/ /gsi;
    Hmmm, danke, habe das mal eingebaut und ausprobiert.
    
    Folgende Tags werden aus dem Quellcode von $contents trotzdem nicht entfernt:
    
    Code: (dl )
    
    1 2 3
    
    <?php echo get_pfad(); ?>
    
    oder
    
    Code: (dl )
    
    <?php echo "Aktualisierung am ".date("d.m.Y",filemtime(basename($_SERVER["PHP_SELF"]))); ?>
    
    oder
    
    Code: (dl )
    
    <?php echo $siteRoot ?>
    
    , enthalten in
    
    Code: (dl )
    
    <a href="<?php echo $siteRoot ?>index.php">© domain.de</a>
    
    Liegt es vielleicht an der Verschachtelung in HTML-Tags mit diversen Steuerzeichen a la " ( ) etc.?
    Danke...
    - +4 replies
    - pq
      
      2011-04-26 21:26
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      also hier funktioniert das wunderbar:
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13
      
      $ perl -wE' $s = q{anfang <?php echo get_pfad(); ?> ende}; $s =~ s/(<\?php.*?\?>)/ /gsi; say $s;' anfang ende $ perl -wE' $s = q{anfang <?php echo "Aktualisierung am ".date("d.m.Y",filemtime(basename($_SERVER["PHP_SELF"]))); ?> ende}; $s =~ s/(<\?php.*?\?>)/ /gsi; say $s;' anfang ende
      
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +3 replies
      - newperler
        
        2011-04-26 21:59
        
        User since
        2011-04-26
        20 Artikel
        BenutzerIn
        
        Scheint ein Cache-Problem mit Server und/oder Browser gewesen zu sein, bei weiterem Durchlauf sind die php-Tags entfernt :)
        
        Analog wäre für das Entfernen von HTML-Kommentaren dann das richtig:
        
        Code: (dl )
        
        $contents =~ s/()/ /gsi;
        
        Danke!
        
        GwenDragon
        
        2011-04-27 14:00
        
        User since
        2005-01-17
        14746 Artikel
        Admin1
        
        Code: (dl )
        
        $contents =~ s/()/ /gs;
        
        Den Regex-Modifier i kannst du dir sparen.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        clms
        
        2011-04-27 15:03
        
        User since
        2010-08-29
        373 Artikel
        BenutzerIn
        
        2011-04-26T19:59:47 newperler
        Analog wäre für das Entfernen von HTML-Kommentaren dann das richtig:
        
        Code: (dl )
        
        $contents =~ s/()/ /gsi;
        
        Danke!
        
        Jein.
        
        Wenn die Kommentare die Form  haben, sollte deine Regex funktionieren. HTML erlaubt aber IIRC auch kompliziertere Strukturen wie
        <! -- Kommentar 1 -- kein kommentar -- Kommentar 2 -- > oder
         immer noch Kommentar -->
        Damit wäre Deine Regex überfordert.
        
        Ich verwende zum Entfernen von Kommentaren (und Fixen von Syntax-Fehleren) meist HTML::TreeBuilder, welcher wiedreum HTML::Parser verwendet. Da kann man darauf vertrauen, dass solche Sonderfälle abgedeckt sind und braucht sich nicht mit den Regex rumschlagen.
- +9 replies
- GwenDragon
  
  2011-04-27 15:53
  User since
  2005-01-17
  14746 Artikel
  Admin1
  Du kannst auch bei problematischem aber gültigem (X)HTML/XML auf die Nase fallen. Musst du selber testen bei deinen HTML. ;)
  
  http://www.codinghorror.com/blog/2009/11/parsing-h...
  
  HTML ist keine reguläre Sprache, kann m. E. nicht mit Regexes korrekt geparset werden.
  
  Was machst du bei sowas:
  
  Code: (dl )
  
  1 2 3 4 5 6 7 8
  
  <?php $test=99 ?> ?>'; ?> -->
  
  Ich weiß, sowas kommt selten vor, ist aber sowohl güliges PHP Und HTML.
  Last edited: 2011-04-27 16:15:29 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +8 replies
  - newperler
    
    2011-04-28 08:39
    
    User since
    2011-04-26
    20 Artikel
    BenutzerIn
    
    Ähmmm, gerade dreht es sich mir etwas, ich bin ein (durchaus lernwilliger) *Newbie* :) ....
    
    Warum suche ich diese Lösch-Lösung für php-Kommandos und HTML-Kommentare? Es geht um ein an sich gut laufendes Suchscript, welches .php-Seiten aufgrund der eingfügten <?php... Befehle und verschachtelter (!) . Vielleicht ergibt sich daraus ja ein Tipp?
    
    <?php irgendwas ?>, die gefundenen Tags sollen komplett aus $contents gelöscht werden.
    , die gefundenen Tags sollen komplett aus $contents gelöscht werden.
    
    Danke...
    - clms
      
      2011-04-28 14:48
      
      User since
      2010-08-29
      373 Artikel
      BenutzerIn
      
      2011-04-28T06:39:20 newperler
      Wie man einen HTML-Parser in ein vorhandens Script einbindet, weiß ich nicht, der Author des Scripts hat das Entfernen auch mit anderen Tags auf dem oben beschriebenen Weg erreicht, siehe z.B. . Vielleicht ergibt sich daraus ja ein Tipp?
      
      <?php irgendwas ?>, die gefundenen Tags sollen komplett aus $contents gelöscht werden.
      , die gefundenen Tags sollen komplett aus $contents gelöscht werden.
      
      In >99% der Fälle kannst Du mit relativ einfachen Regex Deine Aufgabe erledigen, weil zwischen dem Start von <?php und dem abschließenden ?> nichts kommt, was Deine Regex aus dem Tritt bringen würde.
      Wenn Du Kontrolle über die Files hast, die Du einliest (oder zumindest die Skripte/Programme die sie erzeugen) kannst Du die Quote wahrscheinlich sogar auf >99.99% hochtreiben. Aber mit einfachen Regex wirst Du nie alle Ausnahmefälle abdecken können. Irgendwann kracht es dann, weil Dein Skript nicht mit gültigem HTML zurechtkommt.
      
      Für die HTML-Kommentare gilt im Prinzip das gleiche, wobei hier das Fehlerpotenzial tendenziell höher ist, weil Kommentare eben nicht durch  am Ende definiert sind sondern innerhalb eines <! ... >[c] durch [c]-- ein- und wieder ausgeschaltet werden.
      
      Wenn Du auf der sicheren Seite sein willst, verwende HTML::Parser. Der kommt mit den Sonderfällen zurecht.
      
      Mit HTML::TreeBuider ist das sehr einfach
      (ungetestetes Code-Fragment):
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
      
      use HTML::TreeBuilder; # TreeBulder-Objekt anlegen my $tree = HTML::TreeBuilder-new(); # HTML-File einlesen $tree->parse_file($filename); # HTML aus String einlesen $tree->parse($htmlinput); # weitere Zeilen: $tree->parse($htmlinput2); $tree->eof(); # eingabe beendet # Ausgabe my $output = $tree->as_HTML();
      
      Je nachdem, ob Du das HTML direkt aus dem File oder aus einem String einlesen willst, musst Du Zeile 7 bzw. 10-12 auskommentieren.
      
      Und das Beste für Dich: die php-Tags und HTML-Kommentare entfernt
      HTML::TreeBuilder schon in der Defaulteinstellung.
      (Und kleinere Probleme in der HTML-Syntax werden ebenfalls gefixt.)
      
      Falls Du kein komplettes HTML-Dokument einliest, sondern nur Ausschnitte (und auch nur diese Ausschnitte zurückhaben willst), wird die Ausgabe etwas komplizierter (ebenfalls ungetestet):
      
      Code (perl): (dl )
      
      my @htmlparts = map {$_->as_HTML()} $tree->guts();
      
      Zur Erklärung: $tree-guts() liefert eine Liste mit allen Teilen des HTML-Trees, die du via parse eingegeben hast. Umgebende <html> Tags, die der TreeBuilder selbst hinzufügt, um einen gültigen HTML-Tree zu bekommen, werden dabei weggelassen. map {$_->as_HTML()} verwandelt die Teilbäume dann wieder in HTML.
      
      ACHTUNG:
      Ich habe gerade einen kurzen Blick in das Skript geworfen und dabei
      noch einige sehr unsichere Regex gefunden.
      
      So wird z.B. nach <meta name="description" content="..."> gesucht.
      Das funktioniert auch (solange die Quotes um description balanced sind und in content kein unescaped " oder ' steht).
      Aber wenn stattdessen im HTML <meta content="..." name="description"> steht
      - was von der Bedeutung völlig equivalent ist - wird es nicht mehr gefunden.
      
      Wenn Du Dein HTML durch den TreeBuilder jagst, ist nicht mehr garantiert, dass die Reihenfolge der Attribute in der Ausgabe unverändert ist. Die obige Regex würde nur noch mit einer 50%-Chance zuschlagen.
      (Das gleiche Problem tritt auf, wenn die Reihenfolge in der Source getauscht wird.)
      
      Saubere Programmierung wäre, dass HTML-Dokument in den HTML::TreeBuilder zuladen,
      dann den Tree nach einem Element tag='meta' mit dem Attribute
      name=description
      zu durchsuchen und in in diesem Element das Attribut 'content' auszuwerten.
      Das geht recht einfach und ist sehr robust, weil Du Dich um Quotes,
      die Reihenfolge der Attribute u.ä. nicht kümmern musst
      - das machen Parser/TreeBuilder für Dich und HTML::TreeBuilder
      hat sehr leistungsfähige und komfortable Methoden zum Durchsuchen des HTML-Trees.
      Allerdings ist es natürlich trotzdem Arbeit das ganze Skript umzustellen.
    - +6 replies
    - topeg
      
      2011-04-28 16:48
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Der Code den du da zeigst ist reichlich unübersichtlich und macht zum eigenen Nachteil wenig Nutzen von Modulen. HTML::Clean, HTML::Obliterate, oder HTML::Strip sind sehr viel Robuster als einfache Reguläre Ausdrücke. Zudem ist HTML::Strip ein XS Modul und um den Faktor 1000 schneller ist als alles in Perl geschriebene.
      - +5 replies
      - newperler
        
        2011-04-28 17:26
        
        User since
        2011-04-26
        20 Artikel
        BenutzerIn
        
        Danke an alle!
        Nochmal: Das Script ist nicht von mir und nur ein Teil der recht umfangreichen Suchmaschine Ksearch.
        
        Mir geht es einfach darum, für die hiesigen individuellen Bedürfnisse (mit php-Seiten) aus dem $content die <?php... und das wird nicht indiziert
        auszuklammern, da sollten auch <?php... und <!--... mit erfasst werden:
        
        Code (perl): (dl )
        
        $contents =~ s/<\s*!--nosearch--\s*>\s*(.*?)\s*<\s*!--\/nosearch--\s*>//gsi; # remove NOSEARCH section
        
        Kann man dass nicht für <?php... und <!--... Anteile im zu indizierenden Rest 'umbiegen'?
        
        Thx...
        
        +4 replies
        
        topeg
        
        2011-04-28 17:43
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        ohne Gewähr:
        
        Code (perl): (dl )
        
        $contents =~ s/<\?\s*php.*?\?>//gsi;
        
        +3 replies
        
        newperler
        
        2011-04-28 18:03
        
        User since
        2011-04-26
        20 Artikel
        BenutzerIn
        
        Was genau bewirkt das zusätzliche \s* ?
        
        Derzeitige Version:
        
        Code (perl): (dl )
        
        $contents =~ s/(<\?php.*?\?>)/ /gsi;
        
        +2 replies
        
        GwenDragon
        
        2011-04-28 18:17
        
        User since
        2005-01-17
        14746 Artikel
        Admin1
        
        Falls <? von (k)einem/vielen Whitespace gefolgt wird.
        \s bedeutet "Leerzeichen", Whitespace wie \t \n ' '
        Siehe auch http://perldoc.perl.org/perlre.html#Character-Clas...
        Last edited: 2011-04-28 18:22:19 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        newperler
        
        2011-04-29 19:04
        
        User since
        2011-04-26
        20 Artikel
        BenutzerIn
        
        Danke an alle, läuft!

View all threads created 2011-04-26 19:20.