Wide character in Compress::Raw::Zlib::crc32 (Allgemeines zu Perl)

[thread]16341[/thread]

Wide character in Compress::Raw::Zlib::crc32

Tags: perl5 wide character Ähnliche Threads

Leser: 20

Articles: hide open all | hide show old branches

+17 replies
Gast John Doe

2011-05-23 12:50
Ich bastele derzeit an einem kleinen Webparser, der bestimmte Dateien nach bestimmten Kriterien speichern soll - wenn sie noch nicht gespeichert wurden. Um letzteres zu prüfen, lasse ich die CRC32 berechnen und vergleiche sie mit den CRCs der vorher gespeicherten Seiten.

CRC berechne ich wie folgt ($content wird von WWW::Mechanize mit $mech->content() ausgespuckt):
Code: (dl )

1 2

use Compress::Raw::Zlib; my $crc = sprintf( "%x", Compress::Raw::Zlib::crc32( $content ) );
Damit erhalte ich "Wide character in Compress::Raw::Zlib::crc32 at D:/Programme/Perl/lib/Archive/Zip.pm line 303." und das Script kapituliert. Nach einigem Lesen über Zeichen- und Byte-Semantik kam ich auf "use bytes;":

Quote
The use bytes pragma disables character semantics for the rest of the lexical scope in which it appears.

So weit so gut, nur das:
Code: (dl )

1 2 3 4 5

my $crc; { use bytes; $crc = sprintf( "%x", Compress::Raw::Zlib::crc32( $content ) ); }
bringt mir immer noch den Fehler.

Funktioniert "use bytes;" jetzt nicht so, wie ich es erwartet habe, oder habe ich einen anderen Denkfehler?
Last edited: 2011-05-23 12:57:50 +0200 (CEST)
- +10 replies
- GwenDragon
  
  2011-05-23 15:00
  User since
  2005-01-17
  14748 Artikel
  Admin1
  Kannst du bitte mal Daten für $content geben bzw. Testcode, bei dem das auftritt?
  
  Wirklich mit dem Schnppsel hier?
  
  Code (perl): (dl )
  
  1 2
  
  use Compress::Raw::Zlib; my $crc = sprintf( "%x", Compress::Raw::Zlib::crc32( $content ) );
  
  Ich kann das nicht nachvollziehen unter Windows.
  Last edited: 2011-05-23 15:02:26 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +5 replies
  - Gast John Doe
    
    2011-05-23 15:49
    Ein minimales Beispiel mit fehler-bringender URL:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13
    
    #!/usr/bin/perl use strict; use warnings; use WWW::Mechanize; use Compress::Raw::Zlib; my $mech = WWW::Mechanize->new(); $mech->get( 'http://audiologie-phoniatrie.charite.de/forschung/schwerpunkte/phaenotypische_variablitaet_pathologischer_kommunikation/forschungsprojekte/metas/impressum' ); my $crc; { use bytes; $crc = sprintf( '%x', Compress::Raw::Zlib::crc32( $mech->content() ) ); } print $crc, "\n";
    
    $content = $mech->content(); habe ich mal etwas gekürzt, aber ansonsten ist das die problematische Stelle und ergibt:
    
    Code: (dl )
    
    Wide character in subroutine entry at D:\mgress\web\minex.pl line 11.
    
    perl -v:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14
    
    This is perl 5, version 12, subversion 2 (v5.12.2) built for MSWin32-86-multi-thread (with 8 registered patches, see perl -V for more detail) Copyright 1987-2010, Larry Wall Binary build 1203 [294165] provided by ActiveState http://www.ActiveState.com Built Dec 9 2010 04:03:28 Perl may be copied only under the terms of either the Artistic License or the GNU General Public License, which may be found in the Perl 5 source kit. Complete documentation for Perl, including FAQ lists, should be found on this system using "man perl" or "perldoc perl". If you have access to the Internet, point your browser at http://www.perl.org/, the Perl Home Page.
    
    Last edited: 2011-05-23 15:50:40 +0200 (CEST)
    - +2 replies
    - bianca
      
      2011-05-31 10:08
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Guest John Doe
      Ein minimales Beispiel mit fehler-bringender URL:
      
      Enthält der Content von diesem URL vielleicht irgendwelche Zeichen die für das Modul oder die CRC Technik nicht gültig/zugelassen sind?
      10 print "Hallo"
      20 goto 10
      - Gast John Doe
        
        2011-05-31 10:39
        
        Die Webseite ist UTF-8 codiert und enthält, soweit ich das überblicken kann, nur ein paar übliche Verdächtige wie Umlaute und é. Dass das "wide characters" sind, ist mir soweit schon klar.
        
        Aber:
        Nach meinem Verständnis von use bytes; sollte es der nachfolgenden Funktion völlig egal sein, ob das jetzt ein String mit oder ohne "wide characters" ist, sondern sie sollte nur auf einzelne bytes je 8 bit operieren.
        Daher meine Frage, ob ich eventuell falsch verstehe, wie dieses Pragma arbeitet.
        Last edited: 2011-05-31 10:50:33 +0200 (CEST)
    - +2 replies
    - topeg
      
      2011-05-31 12:51
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Mach mal anstatt
      
      Code: (dl )
      
      $mech->content()
      
      Code: (dl )
      
      $mech->response()->content()
      
      Soweit ich mich erinnere wird die Seite von WWW::Mechanize automatsch dekodiert. Das könnte hier das Problem sein, weil perl intern die Seite als UTF-8 markiert hat.
      - Gast John Doe
        
        2011-05-31 15:49
        
        Danke, mit $mech->response()->content() funktioniert es auch.
  - +4 replies
  - Gast John Doe
    
    2011-05-27 12:08
    
    Hmm, hat keiner ne Idee zu dem Problem?
    - +3 replies
    - bianca
      
      2011-05-27 12:29
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Schau mal in die Doku auf CPAN:
      
      Quote
      -CRC32
      If set to true, a crc32 checksum of the uncompressed data will be calculated. Use the $d->crc32 method to retrieve this value.
      
      This option defaults to false.
      
      Du musst diese Option bei Initialisierung des Objekts aktivieren!
      10 print "Hallo"
      20 goto 10
      - bianca
        
        2011-05-27 12:37
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Aber wenn man das macht kommt eine andere komische Fehlermeldung:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        #!/usr/bin/perl -w use strict; use warnings; use WWW::Mechanize; use Compress::Raw::Zlib; my ($d, $status) = new Compress::Raw::Zlib::Deflate ( -CRC32 => 1, ) ; my $mech = WWW::Mechanize->new(); $mech->get( 'http://audiologie-phoniatrie.charite.de/forschung/schwerpunkte/phaenotypische_variablitaet_pathologischer_kommunikation/forschungsprojekte/metas/impressum' ); my $crc; { use bytes; $crc = sprintf( '%x', $d->crc32( $mech->content() ) ); } print $crc, "\n";
        
        ergibt:
        
        Code: (dl )
        
        Usage: Compress::Raw::Zlib::deflateStream::crc32(s) at test.pl line 12.
        
        Dieses deflateStream ist nicht dokumentiert auf CPAN, kann ich nichts mit anfangen. Aber vielleicht hilft es dir weiter?
        10 print "Hallo"
        20 goto 10
      - Gast John Doe
        
        2011-05-31 09:31
        
        Ich glaube nicht, dass es damit zu tun hat. Es wird ja nichts (de)komprimiert sondern ich rufe nur die CRC32-Funktion wie hier beschrieben auf.
        Last edited: 2011-05-31 09:46:43 +0200 (CEST)
- +2 replies
- GwenDragon
  
  2011-05-31 10:59
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  binmode gesetzt?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - Gast John Doe
    
    2011-05-31 11:13
    
    Nein, da ich ja kein Filehandle habe.
    Oder hab ich was übersehen?
    Last edited: 2011-05-31 11:18:05 +0200 (CEST)
- +2 replies
- GwenDragon
  
  2011-05-31 11:55
  User since
  2005-01-17
  14748 Artikel
  Admin1
  Ich kann gerade nicht testen.
  
  Aber das Ganze hat nach Quellcode mit der internen UTF-Kodierung von Perl zu tun.
  Probier das mal. Setze in deinen Block mal am Anfang
  
  Code: (dl )
  
  no utf8;
  
  rein.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - Gast John Doe
    
    2011-05-31 15:54
    
    Das tut's nicht, ist aber laut Beschreibung auch nicht dazu gedacht, die Datenbehandlung zu verändern, soweit ich das sehe, oder?
    
    Quote
    The use utf8 pragma tells the Perl parser to allow UTF-8 in the program text in the current lexical scope [...] The no utf8 pragma tells Perl to switch back to treating the source text as literal bytes in the current lexical scope.
    
    Do not use this pragma for anything else than telling Perl that your script is written in UTF-8.
- +2 replies
- moritz
  
  2011-05-31 12:10
  User since
  2007-05-11
  923 Artikel
  HausmeisterIn
  Guest John Doe
  Ich bastele derzeit an einem kleinen Webparser, der bestimmte Dateien nach bestimmten Kriterien speichern soll - wenn sie noch nicht gespeichert wurden. Um letzteres zu prüfen, lasse ich die CRC32 berechnen und vergleiche sie mit den CRCs der vorher gespeicherten Seiten.
  
  CRC berechne ich wie folgt ($content wird von WWW::Mechanize mit $mech->content() ausgespuckt):
  
  Code: (dl )
  
  1 2
  
  use Compress::Raw::Zlib; my $crc = sprintf( "%x", Compress::Raw::Zlib::crc32( $content ) );
  
  $content ist dekodierter Text, die CRC ist aber nur fuer Bytes definiert. Also musst du von Text nach Bytes konvertieren. Dieser Vorgang heist bei Perl "encode".
  
  Code (perl): (dl )
  
  1 2 3
  
  use Encode qw/encode_utf8/; use Compress::Raw::Zlib; my $crc = sprintf( "%x", Compress::Raw::Zlib::crc32( encode_utf8 $content ) );
  
  Der Ansatz mit "use bytes;" ist schlecht, weil er nicht explizit rueberbringt, mit welcher Zeichenkodierung du arbeiten willst.
  
  Ausserdem gilt er nur im lexikalischen Scope, die Funktion die du aufrufst ist aber in einem anderen Scope, daher hat 'use bytes;' in dem Fall keine Auswirkung (use bytes; bewirkt nur, dass Funktionen wie substr() Byte-Semantik annehmen, es encoded nicht automatisch jeden Textstring in einen Bytestring).
  Perl 6 - Perls Zukunft
  - Gast John Doe
    
    2011-05-31 15:47
    
    2011-05-31T10:10:46 moritz
    Ausserdem gilt er nur im lexikalischen Scope, die Funktion die du aufrufst ist aber in einem anderen Scope, daher hat 'use bytes;' in dem Fall keine Auswirkung
    
    Das war mein entscheidender Verständnisfehler zu use bytes;, wie es ausschaut.
    Mit manuellem encode funktioniert es dann auch wie gewünscht.
    
    Danke an alle, die hiezu gepostet haben.
    Last edited: 2011-05-31 15:48:53 +0200 (CEST)

View all threads created 2011-05-23 12:50.