Regex für Spamfilter bei Nicht-Ascii (Allgemeines zu Perl)

[thread]17491[/thread]

Regex für Spamfilter bei Nicht-Ascii

Tags: perl5 regex Ähnliche Threads

Leser: 22

Articles: hide open all | hide show old branches

Teilbaum:
Regex für Wortvergleich locale en und UTF-Zeichen (17 Artikel) 2013-06-18 08:46

+34 replies
GwenDragon

2012-06-17 18:27
User since
2005-01-17
14773 Artikel
Admin1
Leider greift bei der Suche nach Spamworten bei Nicht-Ascii Wordboundary \b nicht.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

#!/usr/bin/perl use 5.008; use strict; use warnings; use locale ':not_characters'; my @words = ( 'ルイビトン!', 'ルイビトン', 'V1$gRa!', 'Viagra', 'интернет!', 'товары', ); while (my $line = <DATA>) { for my $spamword (sort @words) { print ($line =~ /\b\Q$spamword\E\b/i ? "Spam: $spamword -> $line" : ''); } } __END__ __DATA__ CAT & CATZE ルイビトンルイビトン! 8I_Iy ViAGra! Test.Toast интернет! Perl's son is not Tim Towdy!
Was mache ich falsch?
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +15 replies
- payx
  
  2012-06-18 17:51
  
  User since
  2006-05-04
  564 Artikel
  BenutzerIn
  
  Hallo GwenDragon,
  
  so geht es bei mir:
  
  * use utf8;
  * Entfernung des Ausrufezeichens aus der Wortliste (denn das gehört ja nicht zum Wort, drum kann es nicht matchen, vgl. print 1 if 'foo!' =~ m/\bfoo!\b/)
  
  HTH
  Grüße
  payx
  
  Editiert von payx: Bsp. ergänzt
  Last edited: 2012-06-18 18:05:45 +0200 (CEST)
  - GwenDragon
    
    2012-06-18 20:40
    
    User since
    2005-01-17
    14773 Artikel
    Admin1
    
    ja, mit use utf8 klappt es im Beispielcode.
    Das Ausrufezeichen ist mir reingerutscht beim testen und ist als normalerweise benutzte Wortgrenze nicht in den Listen drin.
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +13 replies
  - topeg
    
    2012-06-18 20:42
    
    User since
    2006-07-10
    2611 Artikel
    BenutzerIn
    
    use utf8; löst das Problem nur halb, da damit nur Zeichen Im Code behandelt werden. Wenn die Daten aus einem __DATA__ block kommen geht das. Aber für andere Quellen können die regulären Ausdrücke nicht greifen, wenn die Daten nicht dekodiert sind. Ansonsten werden sie als Bytefolgen gehandhabt und \b greift nur bedingt.
    - +12 replies
    - GwenDragon
      
      2012-06-19 08:52
      
      User since
      2005-01-17
      14773 Artikel
      Admin1
      
      Ja, das Problem habe ich bei Wortlisten aus externen Dateien mit UTF8-kodiertem Inhalt.
      
      //EDIT
      Da hilft nur utf8::decode, damit alles korrekt läuft.
      Immer die gleiche Falle bei encodings.
      Last edited: 2012-06-19 09:25:20 +0200 (CEST)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - topeg
        
        2012-06-19 10:23
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Wenn du nicht sicher bist wie die Dateien kodiert sind nutze besser Encode::Guess.
      - +2 replies
      - pq
        
        2012-06-19 10:43
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        bitte nicht utf8::decode benutzen.
        Encode::decode stattdessen.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        GwenDragon
        
        2012-06-19 11:42
        
        User since
        2005-01-17
        14773 Artikel
        Admin1
        
        Wieso? Dekodiert utf8::decode nicht so, dass das interne Perl UTF für das Matching verwendet wird?
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +8 replies
      - GwenDragon
        
        2012-06-19 16:42
        
        User since
        2005-01-17
        14773 Artikel
        Admin1
        
        Allerdings finde ich Dussel nicht warum es nur mit utf8::encode geht. Mit Encode klappt es nicht, da werden nicht alle Matches gefunden.
        
        Meine testcases mal aufrufen mit test_spamwords.pl test.spam
        
        //EDIT: korrektes Perl-Skript eingefügt
        
        more (11.5kb)
        
        Kann mich bitte mal eine oder einer mit einer erhellenden Information beglücken?
        Anhänge
        
        text/plain
        359 lines
        blacklist.txt
        
        text/plain
        5 lines
        test.spam
        
        Last edited: 2012-06-19 17:16:46 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        Gast Muffi
        
        2012-06-19 17:24
        
        Mal ins Blaue geraten: Ich würd den decode so früh wie möglich machen, also auf jeden Fall schon im read_blacklist
        Last edited: 2012-06-19 17:29:33 +0200 (CEST)
        
        +4 replies
        
        Gast Muffi
        
        2012-06-19 17:26
        
        äääh...
        Encode::decode kann inplace umwandeln?
        Last edited: 2012-06-19 17:29:38 +0200 (CEST)
        
        +3 replies
        
        GwenDragon
        
        2012-06-19 17:41
        
        User since
        2005-01-17
        14773 Artikel
        Admin1
        
        Hmmpf, ganz vergessen.
        Natürlich muss das $STRING = Encode::decode('utf8',$STRING) lauten.
        
        Aber damit klappt es nicht, denn dann meldet Encode:
        
        Code: (dl )
        
        Cannot decode string with wide characters at C:\strawberry\perl\lib/Encode.pm line 176, <> line 2.
        
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +2 replies
        
        Gast Muffi
        
        2012-06-19 17:50
        
        Sieht nach einem Doppeldecode aus.
        Ich würd versuchen das gleich ans Einlesen zu tun, bevor Perl da automagisch selber rumkonvertiert.
        Oder gleich das ganze Filehandle auf utf8 setzen?
        Last edited: 2012-06-19 17:52:23 +0200 (CEST)
        
        GwenDragon
        
        2012-06-19 18:14
        
        User since
        2005-01-17
        14773 Artikel
        Admin1
        
        Selbst wenn ich STDIN, STDOUT und $fh mit binmode (...., ':utf8') setze, und Encode::decode verwende, klappt es mit dem Match per Regex nicht.
        Die Matches klappen eben nur mit utf8::decode.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +2 replies
        
        topeg
        
        2012-06-19 18:11
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Du dekodierst des selben String mehrfach. Kein Wunder das zu einer Meldung führt.
        
        Einmal würde ich open( my $fh, '<:utf8', $blacklist_file ) schreiben.
        Oder an der Stelle: push @blacklist_entries, Encode::decode( 'utf-8', $line );
        Damit ist die Daten schon gewandelt, und bedürfen keiner weiteren Aufmerksamkeit.
        Dann noch "testspam":
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
        
        sub testspam { my $comment = shift; chomp $comment; use Encode; $comment=Encode::decode( 'utf-8', $comment ); read_blacklist(); for my $black (@blacklist_entries) { if ( $comment =~ /\b\Q$black\E\b/i ) { return "badword_comment $black"; } } }
        
        GwenDragon
        
        2012-06-19 18:29
        
        User since
        2005-01-17
        14773 Artikel
        Admin1
        
        Klar, ich habe glatt übersehen, dass $comment nicht in der Schleife dekodiert gehört. Es muss unbending eine Klimaanlage ins Zimmer. bei 29°C streikt das Hirn. Peinlich.
        
        Wenn ich schon früher die Spamworte beim push ins Array dekodiere und Den Kommentar vor der for-Loop klappt es.
        Danke für den Hinweis.
        
        Möglichst früh konvertieren, werde ich mir merken müssen.
        Last edited: 2012-06-19 18:32:10 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- GwenDragon
  
  2013-05-23 17:41
  
  Subtree with 18 replies: Regex für Wortvergleich locale en und UTF-Zeichen
  User since
  2005-01-17
  14773 Artikel
  Admin1
  Ich muss den Thread nochmals hervorkramen. Ich bin gerade mit Perligen Regenechsen im Clinch.
  
  Perl 5.10.1 auf Debian 6.
  
  Ich scanne auf Spamwörter in Zeichenketten. Die Spamwörter (viele Zeichen auch aus anderen Sprachen! ALso auc JP, CN, FR, RU etc.) kommen aus einer UTF-kodierten Datei.
  Normalerweise kann eine so per regex testen
  
  Code: (dl )
  
  /\b$BOESESWORT\b/
  
  Mein Test zeigt:
  root@srv22 ~ # perl -E "say 'Der Preis beträgt 100 EUR.' ~~ /\bbet\b/"; root@srv22 ~ # perl -E "say 'bet and win! 1000$.' ~~ /\bbet\b/"; 1
  
  Wenn ich auf Wortgrenzen mit \b teste, weil ich nach Wörtern scanne, schlägt alles außerhalb Standard-ASCII fehl.
  Wohl ein Locales-Problem.
  Nachgeschaut und siehe da, ein Server mit folgenden locales:
  LANG=en_US.UTF-8 LANGUAGE= LC_CTYPE="en_US.UTF-8" LC_NUMERIC="en_US.UTF-8" LC_TIME="en_US.UTF-8" LC_COLLATE="en_US.UTF-8" LC_MONETARY="en_US.UTF-8" LC_MESSAGES="en_US.UTF-8" LC_PAPER="en_US.UTF-8" LC_NAME="en_US.UTF-8" LC_ADDRESS="en_US.UTF-8" LC_TELEPHONE="en_US.UTF-8" LC_MEASUREMENT="en_US.UTF-8" LC_IDENTIFICATION="en_US.UTF-8" LC_ALL=
  
  der hat als locale also nur en und das kann nicht geändert werden.
  Ein use locale; in Perl ist also sinnlos.
  
  Wie kann ich nun trotzdem bei dem festen locale EN Zeichenketten per Regex auf Wörter prüfen?
  
  Editiert von GwenDragon: defekte tt-Tags repariert
  Last edited: 2013-05-23 18:07:13 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2012-06-17 18:27.