UTF Datei einlesen und parsen - String in falscher Reihnfolge (Allgemeines zu Perl)

[thread]17730[/thread]

UTF Datei einlesen und parsen - String in falscher Reihnfolge

Tags: perl5 Ähnliche Threads

Leser: 21

Articles: hide open all | hide show old branches

+13 replies
Gast Harald

2012-09-05 15:49
Servus zusammen,
ich brauche da vielleicht mal eure Hilfe. Ausgangspunkt ist, das ich eine utf8 Datei einlese, diese dann parse um einen SQL String zusammen zu bauen.
Jedoch wird der String dann in umgekehrter Reihnfolge ausgegeben. Sprich das Element was ich nach ganz hinten im String schreibe erscheint bei der Ausgabe als erstes.
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13

use utf8; ... open(F_READ, "<encoding(ut8)", "test.txt") or next while(defined(my $sz_line = <F_READ>)) { @splitarr = split(/,/, $sz_line) #Hier dann den SQL String zusammenbauen $sql = ... , $splitarr[1] . $splitarr[2] .... }
In der Ausgabe steht dann aber Element 2 vor Element 1 und auch deren Zeichenreihfolge ist anders um!

Kann mir da wer vielleicht einen Tipp geben?
- pq
  
  2012-09-05 15:55
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  ich sehe gar keine ausgabe. das eigentliche problem, also die verdrehte ausgabe, zeigst du gar nicht.
  das skript ist nicht vollständig.
  wundern tut mich das komma hier:
  $sql = ... , $splitarr[1] . $splitarr[2]
  
  eine kleine beispiel-inputdatei wäre hilfreich.
  wozu das use utf8 hier? dass du das nur brauchst, wenn du im skript selbst irgendwelche utf-8 daten hast, weisst du?
  
  encoding(ut8) als open mode ist auch kaputt. sollte :encoding(utf-8) lauten.
  Last edited: 2012-09-05 15:57:24 +0200 (CEST)
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +11 replies
- lichtkind
  
  2012-09-05 16:17
  User since
  2004-03-22
  5697 Artikel
  ModeratorIn + EditorIn
  und bitte 3 param open verwenden.
  
  Code (perl): (dl )
  
  open(F_READ, "<","encoding(ut8)", "test.txt")
  
  Tutorien in der Wiki, mein zeug:
  kephra, baumhaus, garten, gezwitscher
  
  Es beginnt immer mit einer Entscheidung.
  - pq
    
    2012-09-05 16:55
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    doppelpunkt noch bitte =)
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +9 replies
  - murphy
    
    2012-09-05 17:32
    User since
    2004-07-19
    1776 Artikel
    HausmeisterIn
    
    2012-09-05T14:17:41 lichtkind
    und bitte 3 param open verwenden.
    
    Code (perl): (dl )
    
    open(F_READ, "<","encoding(ut8)", "test.txt")
    
    Hmm, ich zähle da vier Parameter und glaube, dass der Aufruf so nicht funktionieren dürfte ;-) Außerdem würde ich auch noch lexikalische Dateihandles und Fehlerbehandlung empfehlen:
    
    Code (perl): (dl )
    
    open(my $f_read, '<:encoding(UTF-8)', 'test.txt') or die "Failed to open file: $!";
    
    When C++ is your hammer, every problem looks like your thumb.
    - +8 replies
    - Gast Harald
      
      2012-09-06 08:36
      
      Guten Morgen zusammen,
      
      also hier mal der Code aus meinem PerlSkript
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44
      
      #!/usr/local/ActivePerl-5.10/bin/perl use strict; use DBI; use utf8; #no utf8; use Encode; binmode STDIN , 'utf8'; my $gazetteer_txt_datei="/Shared\ Items/Public/Datenbanken/Gazetteer/test.txt"; my $gazetteer_quellDateiname = "< "; my $sz_line; my @split_line; my @split_sql; my $sz_test_mysql; my $sql_string; $gazetteer_quellDateiname = $gazetteer_quellDateiname . $gazetteer_txt_datei; open (F_READ,"<:encoding(utf8)", $gazetteer_txt_datei) or next; while(defined (my $sz_line = <F_READ>)) { chomp($sz_line); $sz_line =~ s/'/\\'/g; $sz_line =~ s/,,,,/\,' ',' ',' ',/g; $sz_line =~ s/,,,/\,' ',' ',/g; $sz_line =~ s/,,/\,' ',/g; @split_line = split(/\t/,$sz_line); $sql_string = "INSERT INTO location (RC, UFI, UNI, LAT, LON, FC, PC, LC, SHORT_FORM, GENERIC, SORT_NAME_RO, FULL_NAME_RO, FULL_NAME_ND_RO, SORT_NAME_RG, FULL_NAME_RG, FULL_NAME_ND_RG, MODIFY_DATE)"; $sql_string = $sql_string . " values (". $split_line[0] . "," . $split_line[1] . "," . $split_line[2] . "," . $split_line[3] . "," . $split_line[4] . ",'" . $split_line[9] . "'," . $split_line[11] . ",'" . $split_line[18] . "','" . $split_line[19] . "','" . $split_line[20] . "','" . $split_line[21] . "','" . $split_line[22] . "','" . $split_line[23] . "','" . $split_line[24] . "','" . $split_line[25] . "','" . $split_line[26] . "','" . $split_line[28] . "');"; } close(F_READ); exit 0;
      
      Hier mal 3 Zeilen die eingelesen werden sollen
      
      Code: (dl )
      
      1 2 3
      
      1 -1307834 -1891810 12.516667 -69.983333 123100 -695900 19PCP9315983885 ND19-14 P PPLL AA 00 N PAVIA Pavía Pavia PAVIA Pavía Pavia 1993-12-21 1 -1307889 -1891862 12.566667 -70.033333 123400 -700200 19PCP8774789436 ND19-14 P PPL AA 00 V SANTAANNA Santa Anna Santa Anna SANTAANNA Santa Anna Santa Anna 1993-12-21 3 11413039 13472634 25.235017 55.278831 251406 551644 40RCN2663292082 NG40-09 S RDCR AE 03 NS ara دوار دوارالسطوه دوار السطوه دوار السطوه دوارالسطوه دوار السطوه دوار السطوه 2012-01-26
      
      Jedoch habe ich das Phänomen, das die dritte Zeile falsch zusammen gesetzt wird. Zeile 1 und 2 werden richtig zusammen gesetzt
      
      Code: (dl )
      
      1 2 3
      
      INSERT INTO location (RC, UFI, UNI, LAT, LON, FC, PC, LC, SHORT_FORM, GENERIC, SORT_NAME_RO, FULL_NAME_RO, FULL_NAME_ND_RO, SORT_NAME_RG, FULL_NAME_RG, FULL_NAME_ND_RG, MODIFY_DATE) values (4,-3381460,9260417,32.990414,66.316794,'P',' ','rus','','','KHUSHKKHOY','Khushkkhoy','Khushkkhoy','KHUSHKKHOY','Khushkkhoy','Khushkkhoy','2010-05-05'); INSERT INTO location (RC, UFI, UNI, LAT, LON, FC, PC, LC, SHORT_FORM, GENERIC, SORT_NAME_RO, FULL_NAME_RO, FULL_NAME_ND_RO, SORT_NAME_RG, FULL_NAME_RG, FULL_NAME_ND_RG, MODIFY_DATE) values (4,-3381460,6411842,32.990414,66.316794,'P',' ','fas','','','05-خوشخوی','خوشخوی','خوشخوی','خوشخوی','خوشخوی','خوشخوی','2010-05');
      
      Bei den arabischen Schriftzeichen ist nicht nur die Postion der Arrayelemente in falscher Reihnfolge sondern auch die einzelnen Character eines Strings werden gedreht.
      
      Ich bitte um Hilfe, vorab schon vielen Dank
      Harald
      Last edited: 2012-09-06 09:29:47 +0200 (CEST)
      - +4 replies
      - Muffi
        
        2012-09-06 10:54
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Ich hab die Vermutung er drehts beim Zusammenhängen in Zeile 38 um.
        
        Probier doch mal DBI vernünftig anzusprechen mit
        
        Code: (dl )
        
        1 2
        
        "INSERT INTO foo (A, B, C) VALUES (?, ?, ?)" ->execute($param1, $param2, $param3);
        
        Vielleicht löst der dein Problem schon.
        1 + 1 = 10
        
        +3 replies
        
        Gast Harald
        
        2012-09-06 11:10
        
        Was heißt vernünftig ansprechen.
        
        Ich mache das mit
        
        Code: (dl )
        
        dbh->do($sql_string);
        
        Ist das nicht korrekt. Ich glaube ehr das das Problem an der Kodierung des Strings liegt und das höher und niederwärtigen Bits einfach getauscht werden. Aber ich weiß nicht wie ich das in Perl explizit unterdrücken kann bzw. Behandeln kann.
        
        Übringend der vorschlag mit Execute führt auch nicht zum gewünschten Ergebnis.
        Last edited: 2012-09-06 11:33:56 +0200 (CEST)
        
        Muffi
        
        2012-09-06 11:45
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Ich bin nicht der Unicodeexperte, aber ich glaub es liegt eher da dran, dass du einen String zusammensetzen willst, der aus Teilen, die von links nach rechts und Teilen die von rechts nach links geschrieben werden besteht.
        Aber wenn auch die DB selbst mit dem ->execute nicht richtig funktioniert... keine Ahnung.
        
        PS: Solbald man Parameter hat sollte man die ?-Syntax verwenden.
        Last edited: 2012-09-06 11:52:36 +0200 (CEST)
        1 + 1 = 10
        
        Muffi
        
        2012-09-06 13:46
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Hmm, ich hab grad mal rumgetestet und anderes Verhalten bekommen, als ich den Sting nicht mit "," sondern mit ",\t" zusammengehängt hab.
        Guck doch mal obs dann richtiger wird.
        1 + 1 = 10
      - +3 replies
      - Raubtier
        
        2012-09-06 12:45
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        Verstehe ich das richtig, dass die Quelldatei schon, wenn arabische Zeichen drin vorkommen, eine völlig andere Reihenfolge hat als die anderen? Dann musst du halt:
        
        1. Arabische Zeilen erkennen
        2. Die Reihenfolge der Fehler umdrehen
        3. Auch das Datum ist ja verkehrt herum
        4. Dann erst einfügen.
        
        Und zweiter Kommentar:
        Was hat der Backslash in my $gazetteer_txt_datei="/Shared\ Items/Public/Datenbanken/Gazetteer/test.txt"; zu suchen?
        
        +2 replies
        
        Gast Harald
        
        2012-09-06 13:00
        
        2012-09-06T10:45:28 Raubtier
        Verstehe ich das richtig, dass die Quelldatei schon, wenn arabische Zeichen drin vorkommen, eine völlig andere Reihenfolge hat als die anderen? Dann musst du halt:
        
        1. Arabische Zeilen erkennen
        2. Die Reihenfolge der Fehler umdrehen
        3. Auch das Datum ist ja verkehrt herum
        4. Dann erst einfügen.
        
        Darauf das es vielleicht mal wieder so einfach sein kann, bin ich leider nicht selbst gekommen.
        
        Und zweiter Kommentar:
        Was hat der Backslash in my $gazetteer_txt_datei="/Shared\ Items/Public/Datenbanken/Gazetteer/test.txt"; zu suchen?
        
        Ist dafür das der Pfad richtig gelesen wird. Läuft auf MacOS.
        
        Ich werde berichten, ob ich damit weiter gekommen bin.
        Last edited: 2012-09-06 13:20:17 +0200 (CEST)
        
        pq
        
        2012-09-06 13:24
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        wenn du einen string so füllst:
        my $string = "foo\ bar";
        kommt haargenau dasselbe heraus, als wenn du schreiben würdest:
        my $string = "foo bar";
        zum beweis:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10
        
        $ perl -wE' use Data::Dumper; local $Data::Dumper::Useqq = 1; # zur sicherheit, um alle nicht druckbaren zeichen auszugeben my $x = "foo\ bar"; my $y = "foo bar"; say Dumper $x; say Dumper $y;' $VAR1 = "foo bar"; $VAR1 = "foo bar";
        
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2012-09-05 15:49.