ZERO WIDTH SPACE (Unicode 200B) mit einem RegEx finden und ersetzen (Installation und Konfiguration)

[thread]21472[/thread]

ZERO WIDTH SPACE (Unicode 200B) mit einem RegEx finden und ersetzen

Tags: perl5 Ähnliche Threads

Leser: 8

Articles: hide open all | hide show old branches

+7 replies
micha2

2023-07-12 14:26
User since
2023-07-09
6 Artikel
BenutzerIn
Manche Webseiten enthalten den ZERO WIDTH SPACE (Unicode 200B). Wahrscheinlich sind sie generiert worden.

Wie lässt sich der ZERO WIDTH SPACE (Unicode 200B) mit einem RegEx finden und ersetzen? So geht es nicht:
Code: (dl )

1 2 3 4

#!/bin/bash echo -e "><.>\u200B<.><" | perl -pe "s,><,--,g" # --.><.>< echo -e "><.>\u200B<.><" | perl -pe "s,>\x{200B}<,--,g" # ><.><.><
- +2 replies
- GwenDragon
  
  2023-07-12 14:57
  
  User since
  2005-01-17
  14759 Artikel
  Admin1
  
  Das Unicodezeichen in Perl dafür ist: \N{ZERO WIDTH SPACE}
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - micha2
    
    2023-07-12 15:39
    User since
    2023-07-09
    6 Artikel
    BenutzerIn
    
    Danke für die schnelle Antwort. Leider funktioniert es damit auch (so wie mit \x{200B}) nicht:
    
    Code: (dl )
    
    1 2 3
    
    #!/bin/bash echo -e "><.>\u200B<.><" | perl -pe "s,>\N{ZERO WIDTH SPACE}<,--,g" # ><.><.><
    
    Der RegEx erkennt sowohl \u200B als auch das Zeichen direkt eingegeben zwischen >< nicht.
    Last edited: 2023-07-12 15:41:30 +0200 (CEST)
- GwenDragon
  
  2023-07-12 15:53
  User since
  2005-01-17
  14759 Artikel
  Admin1
  Öhm, geht bei mir auf Perl 5.28 Windows.
  -CS ist der Schalter für Unicode, IO-Kodierung etc.
  https://perldoc.perl.org/perlrun#-C-%5Bnumber/list...
  
  Code: (dl )
  
  1 2
  
  perl -CS -E"print qq/123 asdf\N{ZERO WIDTH SPACE}123 jkl/" | perl -CS -pe"s/\N{ZERO WIDTH SPACE}/#/g" 123 asdf#123 jkl
  
  Auf Debian Linux in Bash so:
  
  Code: (dl )
  
  1 2
  
  # echo -e "Das ist ein ZWSP\u200BPunkt" | perl -CS -pe"s/\N{ZERO WIDTH SPACE}/#/g" Das ist ein ZWSP#Punkt
  
  Code: (dl )
  
  1 2
  
  echo -e "><.>\u200B<.><" | perl -CS -pe"s/\N{ZERO WIDTH SPACE}/#/g" ><.>#<.>#<
  
  Die zweifache Ersetzung durch Perl versteh’ ich allerdings nicht, wo doch beim echo nur ein ZWSP drin ist.???
  
  //EDIT 18:05:
  Och Micha2! Autsch! Wie kannste auch nur in dein Beispiel ein echtes (unsichtbares) ZWSP als Zeichen rein tun.
  
  Bin aber irgendwo selbst schuld; kommt davon, wenn eine Copy&Paste macht, anstatt das erst mal mit vim oder hd anzusehen.
  Vim zeigt nämlich: ><.>\u200B<200b><
  
  Code: (dl )
  
  1 2 3
  
  echo -e "><.>\u200B<.><" | hd 00000000 3e 3c 2e 3e e2 80 8b 3c 2e 3e e2 80 8b 3c 0a |><.>...<.>...<.| 0000000f
  
  So verstehe ich dann auch, warum es zweimal ersetzt wurde.
  LOL. Hitze dörrt Hirn.
  
  @Micha2 Hilft dir das oben genannte weiter für eine Ersetzung?
  Last edited: 2023-07-12 18:36:38 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +2 replies
- rosti
  
  2023-07-13 07:39
  
  User since
  2011-03-19
  3492 Artikel
  BenutzerIn
  
  2 Möglichkeiten:
  Zeichen mit pack "U", 0x200B; erzeugen und für den zu prüfenden Text die Charactersemantics einschalten. Damit die RegEx.
  
  Oder Du arbeitest bytesemantisch und erzeugst mit pack "CCC", 0xE2, 0x80, 0x8B; die Bytesequenze für das ZWS und nimmst für den zu untersuchenden Text ebenfalls die Bytesequenz zum Vergleich.
  
  http://rolfrost.de/ucdata.html?detail=8203
  
  mfg
  
  PS: Also entweder Zeichen mit Zeichen vergleichen oder Bytes mit Bytes. Alles Andere wird nix.
  Last edited: 2023-07-13 18:00:24 +0200 (CEST)
  - rosti
    
    2023-07-20 18:04
    User since
    2011-03-19
    3492 Artikel
    BenutzerIn
    
    Bytesemantisch:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    
    use strict; use warnings; use myLWP; my $r = myLWP->new( uri => 'http://rolfrost.de', ); my $zwsp = pack "CCC", 0xE2, 0x80, 0x8B; my $shy = pack("CC", 0xC2, 0xAD); my $body = $r->request->response_body; $body =~ s/$zwsp//g; # zero width space $body =~ s/$shy//g; # soft hyphen print $body;
    
    Bytesemantisch deswegen weil eine Webseite, also ein HTTP-Response-Body eben eine Bytesequenz ist. Von daher wird auch das ZWSP als Bytesequenz genommen. Code getestet.
    
    Als Zugabe: http://rolfrost.de/mylwp.html
    
    Viel Spaß damit ;)
- haj
  
  2023-07-13 12:30
  User since
  2015-01-07
  558 Artikel
  BenutzerIn
  Wenn Du etwas per Pipe an ein Perl-Programm schickst, dann wird das per Default in einer 1-Byte-Codierung interpretiert. Dein \u200B hat drei Bytes, und das sind dann drei Characters, von denen keiner der ZERO WIDTH SPACE ist. Das folgende gibt eine 3 aus:
  
  Code: (dl )
  
  echo -ne "\u200B" | perl -E "say length <>"
  
  Du musst Perl also mitteilen, dass der Input als UTF-8 interpretiert werden soll... ich seh' gerade, das hat GwenDragon auch schon geschrieben:
  
  Code: (dl )
  
  echo -ne "\u200B" | perl -CS -E "say length <>"
  
  Nun bekommst Du eine 1, und es klappt auch mit der Ersetzung.

View all threads created 2023-07-12 14:26.