Zu perlfaq: "How can I make \w match national character sets?" (Allgemeines zu Perl)

[thread]14149[/thread]

Zu perlfaq: "How can I make \w match national character sets?"

Leser: 17

Articles: hide open all | hide show old branches

+11 replies
Gast Gast

2009-10-17 18:05
http://perldoc.perl.org/perlfaq6.html#How-can-I-ma...\w-match-national-character-sets?

Put use locale; in your script. The \w character class is taken from the current locale.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

#!/usr/bin/perl use 5.010; use strict; use warnings; use utf8; use locale; use POSIX qw( locale_h ); my $locale = setlocale( LC_CTYPE ); say $locale; # de_DE.UTF-8 my $string = 'abcäöüß'; my @match = $string =~ /(\w)/g; say "@match"; # a b c
Was muß ich hier noch ändern, damit auch die Umlaute matchen?
- +9 replies
- betterworld
  
  2009-10-17 18:33
  
  User since
  2003-08-21
  2614 Artikel
  ModeratorIn
  
  Durch das "use utf8" ist die String-Konstante "upgegradet", daher sollte das auch ohne den ganzen locale-Kram funktionieren. Der Sourcecode muss nur utf8-kodiert sein (das wird mit "use utf8" deklariert). Bei mir funktioniert es dann auch.
  
  Update: Wenn ich das richtig verstanden habe, soll \w ab 5.12 nur noch Ascii-Zeichen matchen. Falls Du also ein Perl hast, was neuer als 5.10.x ist (d.h. zu diesem Zeitpunkt eine Entwicklerversion), dann kann es sein, dass das so nicht geht. Vermutlich muss man dann ~~[[:print:]]~~ [[:word:]] verwenden oder sowas.
  
  Update: Wobei es wohl mit "use locale" oder "use legacy" auch noch mit \w funktionieren soll..
  Last edited: 2009-10-17 18:57:32 +0200 (CEST)
  Lieblingsmodule: IPC::System::Simple, Path::Class
  - +8 replies
  - Gast Gast
    
    2009-10-17 20:15
    Ohne "use locale" funktioniert es jetzt bei mir auch. Wobei noch eine kleine Restunzufriedenheit bleibt, weil es mit locale nicht funktioniert.
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13
    
    #!/usr/bin/perl use 5.010; use strict; use warnings; use utf8; use Encode qw( encode ); my $string = 'abcäöüß'; my @match = $string =~ /(\w)/g; say encode( 'utf-8', "@match" ); # a b c ä ö ü ß
    - +7 replies
    - betterworld
      
      2009-10-17 23:49
      
      User since
      2003-08-21
      2614 Artikel
      ModeratorIn
      
      Also noch mal eindeutig als Fragen formuliert:
      
      1) Welche Perl-Version?
      2) Welches Encoding hat der Quelltext?
      Lieblingsmodule: IPC::System::Simple, Path::Class
      - +6 replies
      - Gast Gast
        
        2009-10-18 07:53
        
        Perlversion: 5.10.0
        Unicode-codierung: utf-8
        
        +5 replies
        
        betterworld
        
        2009-10-18 12:10
        
        User since
        2003-08-21
        2614 Artikel
        ModeratorIn
        
        Ich habe es gerade auch noch mal ausprobiert, und festgestellt:
        
        Unter einer utf8-Locale (probiert hab ich en_US.utf8 und de_DE.utf8) gibt es nur "a b c" aus, unter einer latin1-Locale (en_US.ISO8859-1) jedoch auch die Umlaute.
        
        Script war bei mir in allen Fällen utf8-kodiert. Ich hab es mit 5.10.0, 5.10.1 sowie 5.8.8 (mit "print" statt "say") reproduzieren können. Sieht mir aber nicht wirklich nach korrektem Verhalten aus.
        Lieblingsmodule: IPC::System::Simple, Path::Class
        
        +4 replies
        
        betterworld
        
        2009-10-18 12:31
        
        User since
        2003-08-21
        2614 Artikel
        ModeratorIn
        
        Aber mit [[:word:]] statt \w funktioniert es bei beiden Locales.
        Lieblingsmodule: IPC::System::Simple, Path::Class
        
        +3 replies
        
        Gast Gast
        
        2009-10-18 15:20
        
        Hat funktioniert:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9
        
        #!/usr/bin/perl -w use 5.010; use strict; use utf8; use Encode qw( encode ); my $string = 'abcäöüß'; my @match = $string =~ /(\w)/g; say encode( 'utf-8', "@match" ); # a b c ä ö ü ß
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10
        
        #!/usr/bin/perl -w use 5.010; use strict; use locale; # de_DE.UTF-8 use utf8; use Encode qw( encode ); my $string = 'abcäöüß'; my @match = $string =~ /([[:word:]])/g; say encode( 'utf8', "@match" ); # a b c ä ö ü ß
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12
        
        #!/usr/bin/perl -w use 5.010; use strict; use utf8; use locale; use POSIX qw( locale_h ); use Encode qw( encode ); my $latin_locale = setlocale( LC_CTYPE, 'de_DE.ISO8859-1' ); my $string = 'abcäöüß'; my @match = $string =~ /(\w)/g; say encode( 'utf-8', "@match" ); # a b c ä ö ü ß
        
        Habe ich richtig geraten:
        beim letzten Beispiel muß ich mit utf-8 encoden, weil setlocale sich nicht auf meine Konsole auswirkt und diese auf utf8 eingestellt ist?
        
        +2 replies
        
        betterworld
        
        2009-10-18 15:57
        
        User since
        2003-08-21
        2614 Artikel
        ModeratorIn
        
        Guest Gast
        Habe ich richtig geraten:
        beim letzten Beispiel muß ich mit utf-8 encoden, weil setlocale sich nicht auf meine Konsole auswirkt und diese auf utf8 eingestellt ist?
        
        Ja, klingt richtig. Man kann allerdings auch binmode nehmen, dann schreibt sich das say leichter, siehe unten.
        
        Aber warum willst Du eigentlich "use locale" benutzen? Ich schrieb ja oben, dass es ohne einfacher geht:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
        
        #!/usr/bin/perl -w use 5.010; use strict; use utf8; my $string = 'abcäöüß'; # Achtung, der Quelltext muss utf8-kodiert sein my @match = $string =~ /[[:word:]]/g; if (${^UTF8LOCALE}) { # Erkennt, ob utf8 ausgegeben werden soll # Ausgaben nach STDOUT werden nach utf8 konvertiert binmode STDOUT, ':encoding(utf8)'; } say "@match"; # a b c ä ö ü ß
        
        (Ich habe hier trotzdem [[:word:]] statt \w benutzt, da \w offenbar ab 5.12 hier etwas anderes tun soll.)
        Lieblingsmodule: IPC::System::Simple, Path::Class
        
        Gast Gast
        
        2009-10-18 16:20
        
        utf8 ist mir natürlich lieber - die Versuche mit "use locale" waren nur der Neugier wegen.
        Ich hoffe, dass außer Unicode bald alles Geschichte ist.
- betterworld
  
  2009-10-18 01:11
  
  User since
  2003-08-21
  2614 Artikel
  ModeratorIn
  
  Ich habe den Threadtitel mal geändert, weil es so jetzt einleuchtend ist, warum das plötzlich englisch ist.
  
  War: "How can I make \w match national character sets?"
  Lieblingsmodule: IPC::System::Simple, Path::Class

View all threads created 2009-10-17 18:05.