Regex Frage (gelöst) (Allgemeines zu Perl)

[thread]17898[/thread]

Regex Frage [gelöst]

Tags: perl5 regex Ähnliche Threads

Leser: 27

Articles: hide open all | hide show old branches

+24 replies
bianca

2012-11-09 17:42
User since
2009-09-13
7016 Artikel
BenutzerIn
Hi!
Bitte gebt mir nochmal kurz Hilfe für ein Regex.
Wie muss der Regex in diesem Script aussehen, damit er auf beides matcht?
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

#!/usr/bin/perl use strict; use warnings; my @test; push @test,'[Thu Nov 08 22:59:19 2012] [error] Hostname www.......de provided via SNI, but no hostname provided in HTTP request'; push @test,'[Fri Nov 09 09:49:30 2012] [error] [client 8.1.1.1] Can\'t modify constant item in scalar assignment at /script.pl line 16, near "\'schiess mich tot\';", referer: https://.......pl'; for (my $z = 0; $z < scalar @test; $z++) { print "Zeile $z: "; if ( $test[$z] =~ /^\[[^ ]+ ([^ ]+) ?([0-9]+) ([0-9:]+) ([0-9]+)\] \[([^\]]+)\] \[[^ ]+ ([^\]]+)\] (.*)$/ ) { print "matcht 7=>$7<\n"; } else { print "matcht nicht\n"; } }
Danke
10 print "Hallo"
20 goto 10
- +2 replies
- GwenDragon
  
  2012-11-09 17:46
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Welche Information brauchst du denn genau aus dem Log?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - bianca
    
    2012-11-09 17:49
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2012-11-09T16:46:55 GwenDragon
    Welche Information brauchst du denn genau aus dem Log?
    
    Jede. Mein Regex matcht im Moment auf die zweite Zeile im Testarray. Er soll aber auch auf die erste Zeile matchen. Da habe ich dann halt einfach keine IP.
    10 print "Hallo"
    20 goto 10
- bianca
  
  2012-11-09 18:34
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Am naheliegendsten erschien mir /^\[[^ ]+ ([^ ]+) ?([0-9]+) ([0-9:]+) ([0-9]+)\] \[([^\]]+)\] (\[[^ ]+ ([^\]]+)\])? (.*)$/ womit ich sagen will, dass die eckigen Klammern mit der Client-IP auftreten können aber nicht müssen. Matcht aber nicht.
  Wo ist mein Denkfehler?
  10 print "Hallo"
  20 goto 10
- +10 replies
- GwenDragon
  
  2012-11-09 19:04
  User since
  2005-01-17
  14748 Artikel
  Admin1
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13
  
  $test[$z] =~ /^\[ ([^\]]+) # Datum \] \s+ \[ ([^\]]+) # Fehler \] \s+ (?>\[\S+\s([^\]]+)\]\s+)? # falls [client ...] Lookahead (.+) $ /x;
  
  //EDIT: ich weiß, dass nach client auch noch blah und blubb oder 99887788 stehen könnte, das matcht auch.
  Wenn du dem loggenden Programm nicht vertraust, dass es hinter client die IPv4 schreibt, musst du die IP durch (\d{1,3}\.\d{1,3}\.\d{1,3}) regexen udn die IP auf Plausibilität prüfen.
  Last edited: 2012-11-09 19:11:15 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +9 replies
  - bianca
    
    2012-11-09 19:09
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
    
    #!/usr/bin/perl use strict; use warnings; my @test; push @test,'[Thu Nov 08 22:59:19 2012] [error] Hostname www.......de provided via SNI, but no hostname provided in HTTP request'; push @test,'[Fri Nov 09 09:49:30 2012] [error] [client 8.1.1.1] Can\'t modify constant item in scalar assignment at /script.pl line 16, near "\'schiess mich tot\';", referer: https://.......pl'; for (my $z = 0; $z < scalar @test; $z++) { print "Zeile $z: "; if ( $test[$z] =~ /^\[ ([^\]]+) # Datum \] \s+ \[ ([^\]]+) # Fehler \] \s+ (?>\[\S+\s([^\]]+)\]\s+)? # falls [client ...] Lookahead (.+) $ /x; ) { print "matcht 1=>$1< 2=>$2< 3=>$3< 4=>$4< 5=>$5< 6=>$6< 7=>$7<\n"; } else { print "matcht nicht\n"; } }
    
    Quote
    syntax error at test.pl line 23, near "/x;"
    (Might be a runaway multi-line // string starting on line 12)
    syntax error at test.pl line 27, near "else"
    Execution of test.pl aborted due to compilation errors.
    
    10 print "Hallo"
    20 goto 10
    - +8 replies
    - GwenDragon
      
      2012-11-09 19:13
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      Wenn du das in ein if packst ohne das ; am Ende!
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +7 replies
      - bianca
        
        2012-11-09 19:16
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-11-09T18:13:38 GwenDragon
        Wenn du das in ein if packst ohne das ; am Ende!
        
        Ommmm, ja, danke :)
        Läuft auch. Muss nur vorne das Datum noch weiter teilen.
        
        Danke dir!
        10 print "Hallo"
        20 goto 10
        
        +6 replies
        
        GwenDragon
        
        2012-11-09 19:18
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Ach so, dann kannst du das Regex ja noch erweitern, damit mehr gefangen wird, oder die einzelnen $xxx nach . und : splitten.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +5 replies
        
        bianca
        
        2012-11-09 19:21
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-11-09T18:18:06 GwenDragon
        Ach so, dann kannst du das Regex ja noch erweitern
        
        Ja, gerade versucht und schon wieder kaputt. Was habe ich jetzt wieder falsch?
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
        
        #!/usr/bin/perl use strict; use warnings; my @test; push @test,'[Thu Nov 08 22:59:19 2012] [error] Hostname www.......de provided via SNI, but no hostname provided in HTTP request'; push @test,'[Fri Nov 09 09:49:30 2012] [error] [client 8.1.1.1] Can\'t modify constant item in scalar assignment at /script.pl line 16, near "\'schiess mich tot\';", referer: https://.......pl'; for (my $z = 0; $z < scalar @test; $z++) { print "Zeile $z: "; if ( $test[$z] =~ /^\[ [^ ]+ ([^ ]+) ?([0-9]+) ([0-9:]+) ([0-9]+) # Datum \] \s+ \[ ([^\]]+) # Fehler \] \s+ (?>\[\S+\s([^\]]+)\]\s+)? # falls [client ...] Lookahead (.+) $ /x ) { print "matcht 1='$1' 2='$2' 3='$3' 4='$4' 5='$5' 6='$6' 7='$7'\n"; } else { print "matcht nicht\n"; } }
        
        Matcht garnichts.
        Ich habe nur Deine Zeile ([^\]]+) # Datum gegen meine [^ ]+ ([^ ]+) ?([0-9]+) ([0-9:]+) ([0-9]+) # Datum getauscht. Glaube ich zumindest.
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        GwenDragon
        
        2012-11-09 19:30
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Wenn ein Regex den Schalter x beinhaltet, ist ein Leerzeichen nur zur Verschönerung der Ansicht. Wenn du Leerzeichen matchen willst, mach das mit \s; Nichtleerzeichen matchen mit \S (das verhindert das grässliche [^ ]).
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        /^\[ \S+\s+ (\S+)\s+ ([0-9]+)\s+([0-9:]+)\s+([0-9]+) # Datum \] \s+ \[ ([^\]]+) # Fehler \] \s+ (?>\[\S+\s([^\]]+)\]\s+)? # falls [client ...] Lookahead (.+) $ /x
        
        Last edited: 2012-11-09 19:31:40 +0100 (CET)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        bianca
        
        2012-11-09 19:40
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-11-09T18:30:21 GwenDragon
        Wenn ein Regex den Schalter x beinhaltet, ist ein Leerzeichen nur zur Verschönerung der Ansicht. Wenn du Leerzeichen matchen willst, mach das mit \s; Nichtleerzeichen matchen mit \S (das verhindert das grässliche [^ ]).
        
        OK. Danke dir vielmals!
        Muss das die nächsten Tage nochmal durchackern. Code funktioniert jetzt wie erwartet.
        Danke
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        GwenDragon
        
        2012-11-09 19:39
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Nachtrag. Regexgruppen können in moderneren Perls auch benannt werden. http://perldoc.perl.org/perlretut.html#Named-backr...
        
        So kannst bswp. du bei Geldbeträgen statt
        (\d\d\d)(,(\d\d)?
        auch schreiben:
        (?<tausender>\d\d\d)(,(?<nachkomma>\d\d))?
        
        Dann kann statt mit $1 und $3 auch mit $+{tausender} und $+{nachkomma} zu gegriffen werden.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        bianca
        
        2012-11-09 19:41
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-11-09T18:39:52 GwenDragon
        Nachtrag. Regexgruppen können in moderneren Perls auch benannt werden.
        
        Das ist ja cool! Schaue ich mir die Tage auch nochmal genau an.
        Danke für den Tipp.
        10 print "Hallo"
        20 goto 10
- +7 replies
- GwenDragon
  
  2012-11-09 19:54
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Falls du dich beim Schreiben von komplexeren Rexen schwer tust, es gibt Tools zum probieren der Regexes. Ist keine Schande.
  
  http://www.radsoftware.com.au/regexdesigner/
  für Notepad++ gibt es die Erweiterung RegExHelper
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +6 replies
  - bianca
    
    2012-11-09 20:00
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2012-11-09T18:54:55 GwenDragon
    Falls du dich beim Schreiben von komplexeren Rexen schwer tust, es gibt Tools zum probieren der Regexes. Ist keine Schande.
    
    Das wird ja immer besser! Schaue ich mir auf jeden Fall an!
    
    Ich habe auch eben versucht, den Regex als Variable zu definieren, weil ich ihn an zwei Stellen im Script brauche. Aber es ist mir zu peinlich, diesen Versuch zu zeigen....
    Wie ist die Syntax zur Speicherung dieses von dir gezeigten Regex in einer Variable und auch die Verwendung?
    
    Editiert von bianca: Fullquote reduziert.
    Last edited: 2012-11-09 20:01:23 +0100 (CET)
    10 print "Hallo"
    20 goto 10
    - +5 replies
    - GwenDragon
      
      2012-11-09 20:04
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      qr ist dein Freund.
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8 9 10 11
      
      $regenechse = qr{ (\d+) abcd ([a-z]+) }x; ... ... if ($line =~ $regenechse) { .....
      
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +4 replies
      - bianca
        
        2012-11-10 09:01
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-11-09T19:04:23 GwenDragon
        qr ist dein Freund.
        
        Danke dir aber ich könnte heulen.
        Was ist jetzt schon wieder falsch?
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
        
        #!/usr/bin/perl use strict; use warnings; my $regex = qr{ /^\[ \S+\s+ (\S+)\s+ ([0-9]+)\s+([0-9:]+)\s+([0-9]+) # Datum \] \s+ \[ ([^\]]+) # Fehler \] \s+ (?>\[\S+\s([^\]]+)\]\s+)? # falls [client ...] Lookahead (.+) $ }x; my @test; push @test,'[Thu Nov 08 22:59:19 2012] [error] Hostname www.......de provided via SNI, but no hostname provided in HTTP request'; push @test,'[Fri Nov 09 09:49:30 2012] [error] [client 8.1.1.1] Can\'t modify constant item in scalar assignment at /script.pl line 16, near "\'schiess mich tot\';", referer: https://.......pl'; for (my $z = 0; $z < scalar @test; $z++) { print "Zeile $z: "; if ( $test[$z] =~ $regex ) { print "matcht 1='$1' 2='$2' 3='$3' 4='$4' 5='$5' 6='$6' 7='$7'\n"; } else { print "matcht nicht\n"; } }
        
        Nichts matcht. Warum ist das so?
        
        Edit:
        Habe es mal so versucht:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
        
        my $regex = qr{ ^\[ \S+\s+ (\S+)\s+ ([0-9]+)\s+([0-9:]+)\s+([0-9]+) # Datum \] \s+ \[ ([^\]]+) # Fehler \] \s+ (?>\[\S+\s([^\]]+)\]\s+)? # falls [client ...] Lookahead (.+) $ }sx;
        
        das führt zu:
        
        Quote
        Use of uninitialized value $7 in concatenation (.) or string at test.pl line 29.
        Zeile 0: matcht 1='[Thu Nov 08 22:59:19 2012] [error] Hostname www.......de provided via SNI, but no hostname provided in HT
        TP request' 2='Nov' 3='08' 4='22:59:19' 5='2012' 6='error' 7=''
        Zeile 1: matcht 1='[Fri Nov 09 09:49:30 2012] [error] [client 8.1.1.1] Can't modify constant item in scalar assignment at /s
        cript.pl line 16, near "'schiess mich tot';", referer: https://.......pl/' 2='Nov' 3='09' 4='09:49:30' 5='2012' 6='error' 7='
        8.1.1.1'
        
        matcht zwar aber alles in $1. Aber ohne Modif. /s matcht garnichts. Wieso?
        Der Regex Helper von Notepad matcht ebenfalls nicht. Auch einzeilig und ohne Kommentare im Regex. Bleibt 0.
        Last edited: 2012-11-10 09:38:45 +0100 (CET)
        10 print "Hallo"
        20 goto 10
        
        +3 replies
        
        Raubtier
        
        2012-11-10 12:53
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        Keiner deiner Teststrings fängt mit / an. Wenn du qr{...} verwendest, gehört kein /.../ in die Regexp, da du ja schon { und } als Delimiter verwendest.
        
        Edit: whoops, habe dein Edit nicht gelesen.
        Ich bekomme mit dem obigen Code vor deinem Edit ohne den / das folgende Ergebnis:
        
        Quote
        $ perl test.pl
        Use of uninitialized value $6 in concatenation (.) or string at test.pl line 29.
        Zeile 0: matcht 1='Nov' 2='08' 3='22:59:19' 4='2012' 5='error' 6='' 7='Hostname www.......de provided via SNI, but no hostname provided in HTTP request'
        Zeile 1: matcht 1='Nov' 2='09' 3='09:49:30' 4='2012' 5='error' 6='8.1.1.1' 7='Can't modify constant item in scalar assignment at /script.pl line 16, near "'schiess mich tot';", referer: https://.......pl/'
        
        Was willst du mit dem RE-Modifier /s? Du testest doch nur einzelne Zeilen und /s ändert nur das Verhalten von dem ., der dann auch Zeilenumbrüche matcht. Ist also hier nicht sinnvoll.
        
        Vielleicht schaust du dir mal http://www.youtube.com/watch?v=zcSFIUiMgAs an.
        Last edited: 2012-11-10 13:03:25 +0100 (CET)
        
        +2 replies
        
        bianca
        
        2012-11-10 13:23
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-11-10T11:53:29 Raubtier
        Ich bekomme mit dem obigen Code vor deinem Edit ohne den / das folgende Ergebnis:
        
        Ich nicht. Bitte zeig mir mal deinen vollständigen Code. Es muss einen Unterschied geben.
        
        Edit: Doch, eigentlich schon aber nicht wie erwartet.
        $1 stimmt nicht. Es ist alles verschoben.
        Hier das Ergebnis:
        
        Code: (dl )
        
        1 2 3
        
        Use of uninitialized value $7 in concatenation (.) or string at test.pl line 29. Zeile 0: matcht 1='[Thu Nov 08 22:59:19 2012] [error] Hostname www.......de provided via SNI, but no hostname provided in HTTP request' 2='Nov' 3='08' 4='22:59:19' 5='2012' 6='error' 7='' Zeile 1: matcht 1='[Fri Nov 09 09:49:30 2012] [error] [client 8.1.1.1] Can't modify constant item in scalar assignment at /script.pl line 16, near "'schiess mich tot';", referer: https://.......pl' 2='Nov' 3='09' 4='09:49:30' 5='2012' 6='error' 7='8.1.1.1'
        
        Haben möchte ich aber das hier:
        
        Code: (dl )
        
        1 2 3 4
        
        Use of uninitialized value $6 in concatenation (.) or string at test.pl line 42. Zeile 0: matcht 1='Nov' 2='08' 3='22:59:19' 4='2012' 5='error' 6='' 7='Hostname www.......de provided via SNI, but no hostname provided in HTTP request' Zeile 1: matcht 1='Nov' 2='09' 3='09:49:30' 4='2012' 5='error' 6='8.1.1.1' 7='Can't modify constant item in scalar assignment at /script.pl line 16, near "'schiess mich tot';", ref erer: https://.......pl'
        
        Das untere kommt, wenn ich den selben Regex nicht in einer Variable verwende.
        Was läuft da falsch?
        
        Editiert von bianca: Edit ergänzt
        
        modedit Editiert von GwenDragon: Bitte Ausgaben in CODE-Tags sonst werden sinnlos automatische URL erstellt
        Last edited: 2012-11-12 12:13:51 +0100 (CET)
        10 print "Hallo"
        20 goto 10
        
        bianca
        
        2012-11-10 16:52
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Jetzt habe ich alles nochmal aufgearbeitet und wollte es nochmal strukturiert darstellen und plötzlich funktioniert es doch.
        Ich weiß nicht warum. Muss mich irgendwo verheddert haben.
        Danke für alle die mitgelesen haben. Scheint jetzt zu klappen :)
        10 print "Hallo"
        20 goto 10
- +3 replies
- GwenDragon
  
  2012-11-09 20:01
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  A propos, ich empfehle die Verwendung mehrzeiliger Regexe mit /x und Kommentierung mit # ...
  Solche einzeiligen meterlangen Bandwürmer finde ich schwer nachvollziehbar und unlesbar. Aber vielleicht ist es auch das Alter. ;)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - bianca
    
    2012-11-09 20:02
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2012-11-09T19:01:22 GwenDragon
    A propos, ich empfehle die Verwendung mehrzeiliger Regexe mit /x und Kommentierung mit # ...
    Solche einzeiligen meterlangen Bandwürmer finde ich schwer nachvollziehbar und unlesbar. Aber vielleicht ist es auch das Alter. ;)
    
    Bin voll deiner Meinung, bin auch keine 20 mehr... :)
    10 print "Hallo"
    20 goto 10
    - Raubtier
      
      2012-11-09 21:28
      
      User since
      2012-05-04
      1075 Artikel
      BenutzerIn
      
      So lange Regexp können leicht unübersichtlich werden. Außer mit /x gibt es noch die Möglichkeit, den RE erst gar nicht so lang werden zu lassen, z.B. indem du zuerst mit split /\s/, $zeile, 3 die Zeile in 3 Teile teilst und dann diese jeweils einzeln verarbeitest.

View all threads created 2012-11-09 17:42.