primary key Duplikate entfernen ... suche Programmieridee (Allgemeines zu Perl)

[thread]19206[/thread]

primary key Duplikate entfernen ... suche Programmieridee

Tags: perl5 Ähnliche Threads

Leser: 17

Articles: hide open all | hide show old branches

+19 replies
tejste

2014-07-23 12:46

User since
2012-11-15
21 Artikel
BenutzerIn

Der Sachverhalt ist folgender: in einer Datenbank setzt sich in einer Tabelle die aus 6 Werten besteht, der primary key aus 3 verschieden Werten zusammen f[0],f[3],f[4].

XXC;0.0090;0.0290;07/18/2014;03:36:35;IN
XXC;0.0040;0.0240;07/18/2014;03:50:48;IN
XXC;0.0020;0.0220;07/18/2014;03:50:48;IN

Ich muss nach einer Verarbeitung (XXC ersetzen, Datum konvertieren) in diese Datenbank Werte einlesen und stelle fest, das die angelieferten Datensätze zwar alle verschieden sind, das aber die Werte, die den primary Key bilden, durchaus 2 mal oder mehrfach vorkommen können (siehe 2. und 3. Datensatz) . Die Folge beim Einlesen ist eine unique key violation. Nun möchte ich die doppelten primary key Werte samt danach kommenden Inhalt einfach rauskicken. (Algorithmus: der erste wird genommen, die danach kommen, werden rausgeworfen). Meine Idee ist folgende: ich nehme die 3 Werte die den primary key darstellen und erstelle eine Extraliste. Dann werfe ich mit Hilfe eines Hashes die doppelten keys raus, dann mappe ich diese Liste mit meiner Ursprungsliste und sollte dann jeden key auch nur einmal haben. Kann das funktionieren?
Nun gefällt mir an dieser Lösung selbst nicht, das ich 2 Schritte machen muss. Erst das rauskicken der primary key Duplikate und hinterher muss ich alles noch verarbeiten oder umgekehrt?
Hat jemand eine andere Idee wie man das Problem eleganter und schneller lösen könnte. Ich habe schon mal im Forum rumgesucht finde aber meist nur das rauskicken doppelter Datensätze.
- +18 replies
- payx
  
  2014-07-23 12:55
  User since
  2006-05-04
  564 Artikel
  BenutzerIn
  Hallo tejste,
  
  willst Du das Problem mit SQL oder mit Perl lösen? Beides geht.
  
  Mit SQL machst Du den INSERT mit einem subSELECT, das prüft, ob der Datensatz schon vorhanden ist. Wenn der Datensatz gefunden wird, wird nichts inserted.
  
  Einfaches Beispiel für Oracle:
  
  Code: (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14
  
  INSERT INTO FOO ( ID , NAME ) SELECT MY_SEQUENCE.nextval , 'BAR' FROM dual left join FOO on FOO.NAME = 'BAR' WHERE FOO.ID is null ;
  
  Mit Perl machst Du einen (evtl. verschachtelten) Hash, bei dem der Primary Key als Schlüssel verwendet wird. Wenn dann eine Dublette kommt, kannst Du sie verwerfen.
  
  HTH
  Grüße
  payx
  - +17 replies
  - tejste
    
    2014-07-23 13:27
    
    User since
    2012-11-15
    21 Artikel
    BenutzerIn
    
    hallo payx,
    
    mit Perl, ich stelle die Datei nur bereit zum Einladen in die Datenbank, aber wie heisst es so schön "Shit in, Shit out".
    Verschachtelter Hash? Wie kann ich mir das vorstellen? Hört sich auf jeden Fall interessant an :-)
    - +13 replies
    - payx
      
      2014-07-23 14:03
      
      User since
      2006-05-04
      564 Artikel
      BenutzerIn
      
      Hallo tejste,
      
      hier ein Beispiel zum Weiterbauen:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
      
      #!/usr/bin/perl use strict; use warnings; my %hash; # Daten zeilenweise aus Filehandle (hier: DATA) einlesen while (my $row = <DATA>) { # Newline entfernen chomp $row; # Zeile in Array speichern my @f = split /;/, $row; # Zeile verwerfen, wenn dieser Schlüssel schon existiert next if $hash{$f[0]}->{$f[3]}->{$f[4]}; # Zeile als ArrayRef in verschachteltem Hash speichern $hash{$f[0]}->{$f[3]}->{$f[4]} = \@f; } # Den verschachtelten Hash in einer verschachtelten Schleife auslesen for my $f0 (sort keys %hash) { for my $f3 (sort keys %{$hash{$f0}}) { for my $f4 (sort keys %{$hash{$f0}->{$f3}}) { # Das ArrayRef als Array zwischenspeichern my @f = @{$hash{$f0}->{$f3}->{$f4}}; # SQL-Statement generieren und ausgeben. my $sql = "INSERT into FOO (BAR, BAZ, BAF, BAM, BAX, BAL) values (" . join(', ', @f) . ");"; print "$sql\n"; } } } __DATA__ XXC;0.0090;0.0290;07/18/2014;03:36:35;IN XXC;0.0040;0.0240;07/18/2014;03:50:48;IN XXC;0.0020;0.0220;07/18/2014;03:50:48;IN
      
      HTH
      Grüße
      payx
      
      PS: Du wolltest es eigentlich in einem Aufwasch haben, gell?
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
      
      #!/usr/bin/perl use strict; use warnings; my %hash; # Daten zeilenweise aus Filehandle (hier: DATA) einlesen while (my $row = <DATA>) { # Newline entfernen chomp $row; # Zeile in Array speichern my @f = split /;/, $row; # Zeile verwerfen, wenn dieser Schlüssel schon existiert next if $hash{$f[0]}->{$f[3]}->{$f[4]}; # Schlüssel in verschachteltem Hash speichern $hash{$f[0]}->{$f[3]}->{$f[4]} = 1; # SQL-Statement generieren und ausgeben. my $sql = "INSERT into FOO (BAR, BAZ, BAF, BAM, BAX, BAL) values (" . join(', ', @f) . ");"; print "$sql\n"; } __DATA__ XXC;0.0090;0.0290;07/18/2014;03:36:35;IN XXC;0.0040;0.0240;07/18/2014;03:50:48;IN XXC;0.0020;0.0220;07/18/2014;03:50:48;IN
      
      Das ist natürlich einfacher.
      
      Editiert von payx: PS
      Last edited: 2014-07-23 14:16:00 +0200 (CEST)
      - +4 replies
      - GwenDragon
        
        2014-07-23 14:57
        
        User since
        2005-01-17
        14749 Artikel
        Admin1
        
        Ich würde bei der automatischen Generierung aufpassen. Was nämlich die Felder an Werten beinhalten wird nicht überprüft!
        
        Feine SQL-Injection ergibt's, wenn das Letzte Feld doch was anderes ist.
        Ich weiß nicht ob was passieren kann, aber Nullbyte und UTF sind nicht so brav.
        Daten:
        
        Code: (dl )
        
        1 2 3 4
        
        XXC;0.0040;0.0240;07/18/2014;03:50:48;FRIDAY_13_SQL)\x3B\x00DROP TABLE F00; XXC;0.0040;0.0240;07/18/2014;03:50:48;FRIDAY_13_SQL)\U003B\x00DROP TABLE F00; XXC;0.0040;0.0240;07/18/2014;03:50:48;FRIDAY_13_SQL)\U003B\0DROP TABLE F00; XXC;0.0020;0.0220;07/18/2014;13:13:13;FRIDAY_13_SQL)\U003B\U00A\U00A\U00ADROP TABLE USERS WHERE (1=1;;
        
        Vertraut den erhaltenen Daten nicht so einfach auf Gültigkeit!!!
        
        Gegen SQL Injections helfen Platzhalter für die Werte.
        
        Zu SQL-Injections: https://www.owasp.org/index.php/SQL_Injection_Prev...
        Last edited: 2014-07-23 15:00:44 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +3 replies
        
        payx
        
        2014-07-23 15:28
        
        User since
        2006-05-04
        564 Artikel
        BenutzerIn
        
        Ja, vor SQL-Injection sollte man sich in Acht nehmen (auch wenn ich "Nullbyte und UTF sind nicht so brav" nicht verstehe; das kann an mir liegen), und vor anderen Gefahren des Alltags auch. Die Webressource, die ich im Zusammenhang mit SQL-Injection immer zitiere, ist bobby-tables.
        
        Meinen Code habe ich ausdrücklich als "Beispiel zum Weiterbauen" bezeichnet, ich denke, dass das klar genug macht, dass es sich dabei nicht um die Empfehlung handelt, diesen Code 1:1 produktiv zu nehmen. (Es ist ja auch eher unwahrscheinlich, dass die Tabelle des OP FOO heißt und die Spalten BAR usw. Außerdem fehlen bei den Values im INSERT die Quotes, es würde also nicht funktionieren.)
        
        Vorsorglich, weil hier gern diskutiert: Das gilt auch für die Behandlung der CSV-Zeilen.
        
        Zeigen wollte ich mit dem Script-Beispiel das, wonach gefragt war: Wie man in komplex geschlüsselten Datenbeständen mit einem verschachtelten Hash Dubletten ermitteln und verarbeiten kann.
        
        Bald bin ich soweit, dass ich mir einen Disclaimer zulege. Ausrufezeichen, Ausrufezeichen, Ausrufezeichen.
        
        PS: Deine Injection (DROP TABLE USERS WHERE (1=1) würde nicht funktionieren, denn in DDL gibt es keine WHERE-Klauseln. Was ginge wäre DELETE FROM USERS; – egal ob mit oder ohne WHERE 1=1.
        
        Editiert von payx: PS
        Last edited: 2014-07-23 15:33:04 +0200 (CEST)
        
        Raubtier
        
        2014-07-23 15:42
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        Und um noch Noise hinzuzufügen: hier sollte eine DB konvertiert werden, die als CSV vorliegt - und die vor allem zumindest im Beispiel "gutmütig" aussieht. Somit würde wohl auch wieder CSV rausschreiben. Unter anderem auch deshalb, weil man oft direkt csv in eine Datenbank einlesen kann. Bei MySQL ist es z.B. oft um Größenordnungen schneller, eine große csv-Datei einzulesen als jede Zeile einzeln zu inserten. Hängt aber sicher von der DB ab.
        
        GwenDragon
        
        2014-07-23 16:32
        
        User since
        2005-01-17
        14749 Artikel
        Admin1
        
        Daten von Außen sollten als schmutzig (tainted) angesehen werden. Kann man ja machen mit dem Schalter -T ;)
        Deswegen ist eine Überprüfung sinnvoll, um sich keine SQL-Injection einzufangen.
        
        Perl-Leute sollen nicht so schlampig arbeiten wie die PHPler es öfter tun.
        Deswegen finde ich, dass wir den Anfängern und Unerfahrenen sagen sollten, was sicherheitstechnisch wichtig ist.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +5 replies
      - Linuxer
        
        2014-07-23 15:28
        
        User since
        2006-01-27
        3890 Artikel
        HausmeisterIn
        
        Bei Deiner vereinfachten Variante kannst Du die Aktionen um dem Hash mit den Primary Key Feldern noch zusammenfassen.
        
        Anstatt:
        
        Code (perl): (dl )
        
        1 2 3 4
        
        # Zeile verwerfen, wenn dieser Schlüssel schon existiert next if $hash{$f[0]}->{$f[3]}->{$f[4]}; # Schlüssel in verschachteltem Hash speichern $hash{$f[0]}->{$f[3]}->{$f[4]} = 1;
        
        dieses
        
        Code (perl): (dl )
        
        1 2
        
        # Zeile verwerfen, wenn dieser Schlüssel schon existiert next if $hash{$f[0]}->{$f[3]}->{$f[4]}++;
        
        Beim ersten Durchlauf existiert der Schlüssel nicht und das Next wird nicht ausgeführt; danach wird aber der Wert erhöht, womit der Schlüssel dann existiert und die nächsten Durchläufe greift dann das next.
        Last edited: 2014-07-23 15:37:43 +0200 (CEST)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +2 replies
        
        clms
        
        2014-07-23 15:35
        
        User since
        2010-08-29
        373 Artikel
        BenutzerIn
        
        2014-07-23T13:28:25 Linuxer
        
        Code (perl): (dl )
        
        1 2
        
        # Zeile verwerfen, wenn dieser Schlüssel schon existiert next if $hash{$f[0]}->{$f[3]}->{$f[4]};++
        
        Vorsicht Typo: das ; muss selbstverständlich hinter dem ++ stehen.
        
        Linuxer
        
        2014-07-23 15:38
        
        User since
        2006-01-27
        3890 Artikel
        HausmeisterIn
        
        danke, fixed.
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +2 replies
        
        payx
        
        2014-07-23 15:38
        
        User since
        2006-05-04
        564 Artikel
        BenutzerIn
        
        Hallo Linuxer,
        
        nach s/;++/++;/ ist das eine coole Variante, die ich nicht parat gehabt hätte, danke. In einem instruktiv gedachten Beispielscript würde ich das aber trotzdem eher nicht verwenden.
        
        Grüße
        payx
        
        clms
        
        2014-07-23 16:14
        
        User since
        2010-08-29
        373 Artikel
        BenutzerIn
        
        2014-07-23T13:38:08 payx
        nach s/;++/++;/ ist das eine coole Variante, die ich nicht parat gehabt hätte, danke. In einem instruktiv gedachten Beispielscript würde ich das aber trotzdem eher nicht verwenden.
        
        In meinen Augen ist das bei Perl ein Standard-Pattern.
        
        Bei einem Code-Review würde ich es wahrscheinlich anmeckern, wenn das jemand in zwei Statements aufteilt.
      - +3 replies
      - tejste
        
        2014-07-24 12:08
        
        User since
        2012-11-15
        21 Artikel
        BenutzerIn
        
        hallo payx,
        ich nehme gerade Deinen Code her und baue rum. Wenn ich etwas an Perl schwierig finde (ok andere lieben das) das ist das die etwas unleserliche Schreibweise (;-))
        Was macht dieser Code genau:
        
        Code (perl): (dl )
        
        my $sql = "INSERT into FOO (BAR, BAZ, BAF, BAM, BAX, BAL) values (" . join(', ', @f) . ");";
        
        insbesondere der letzte Teil ab values?
        Kann ich die bearbeiteten Datensätze ins DATA zurückschreiben?
        
        GwenDragon
        
        2014-07-24 13:05
        
        User since
        2005-01-17
        14749 Artikel
        Admin1
        
        Code (perl): (dl )
        
        my $sql = "INSERT into FOO (BAR, BAZ, BAF, BAM, BAX, BAL) values (" . join(', ', @f) . ");";
        
        bedeutet:
        
        Code (perl): (dl )
        
        1 2 3
        
        my $sql = "INSERT into FOO (BAR, BAZ, BAF, BAM, BAX, BAL) values ("; # weise $sql die Zeichenkette zu $sql .= join(', ', @f); # nimm @f als liste, verbinde diese Listeninhalte mit der Zeichenkette ', ', und hänge sie an $sql an $sql .= ");"; # hänge Zeichenkette ');' an $sql an
        
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        payx
        
        2014-07-24 13:27
        
        User since
        2006-05-04
        564 Artikel
        BenutzerIn
        
        Hallo tejste,
        
        gerade bei diesem Codebeispiel habe ich mich doch eigentlich um Leserlichkeit bemüht. :-/ Wenn etwas unleserlich ist, liegt es übrigens mehr am Programmierer als an Perl, so gesehen ist Perl wie Beton: Es kommt darauf an, was man daraus macht.
        
        Über die Zeile, nach der Du fragst, wurde ja schon diskutiert (s.o.). So SQL zu produzieren (es müssten auch die Quotes noch gesetzt und/oder Werte gecastet werden, wenn z.B. '07/18/2014' in der Ziel-DB als Datumsfeld modelliert ist usw.) und auf die Datenbank loszulassen, ist sicher nicht der richtige Weg.
        
        Ansonsten wird in der Zeile im Wesentlichen ein String zusammengebaut. Mit join(', ', @f) werden die Elemente des Arrays @f mit Komma und Leerzeichen getrennt zu einem String zusammengefügt, siehe perlfunc join. join(';', @f) würde Dir dementsprechend Deine Daten wieder in dem Format zurückliefern, wie sie vorher beim Einlesen waren; vielleicht ist es das, was Du willst, siehe auch Raubtiers Beitrag dazu.
        
        Das Konstrukt mit __DATA__ gebraucht man vorwiegend für Code-Beispiele, damit man nicht mit zwei Dateien hantieren muss. In der Wirklichkeit liest man normalerweise aus Dateien (oder irgendwelchen anderen Datenquellen, aber bleiben wir bei Dateien), siehe hierzu open. Wenn das Ergebnis auch wieder in eine Datei geschrieben werden soll, dann eben nochmals open.
        
        Beispiel:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        # Datei zum Lesen (<) öffnen open my $inFH, "<", "quelldatei.txt"; # Andere Datei (die es vielleicht noch nicht gibt) zum Schreiben (>) öffnen open my $outFH, ">", "zieldatei.txt"; # Die erste Zeile der Quelldatei auslesen (später natürlich nicht nur die erste) my $firstrow = <$inFH>; # Diese Zeile in die Zieldatei schreiben. print $outFH $firstrow; # Beide Filehandles wieder schließen close $inFH; close $outFH;
        
        HTH
        Grüße
        payx
    - +3 replies
    - clms
      
      2014-07-23 15:32
      
      User since
      2010-08-29
      373 Artikel
      BenutzerIn
      
      2014-07-23T11:27:22 tejste
      Verschachtelter Hash? Wie kann ich mir das vorstellen? Hört sich auf jeden Fall interessant an :-)
      
      Wie das mit einem verschachteltem Hash geht, hat payx ja schon gezeigt.
      
      Einfacher und übersichtlicher ist es meist, wenn Du mit einem einfachen Hash arbeitest, dessen Key aus den "Primary key" aus den drei Feldern nachbaut.
      Vorsicht: das funktioniert nur wenn die drei Felder Restriktionen haben, auf die Du Dich verlassen kannst, z.B. eine fixe oder maximale Länge der Felder oder bestimmte Zeichen, die in den Keys nicht vorkommen können.
      
      Wenn die Felder z.B. keine Tabs enthalten können, kannst Du den Primary Key z.B. so generieren:
      
      Code (perl): (dl )
      
      my $primary_key = join("\t", @fields[0,3,4])
      
      Du kannst dann auch immer aus dem errechneten $primary_key die ursprünglichen Felder rekonstruieren.
      
      Wenn die Felder dagegen nicht genug Restriktionen haben, geht der Ansatz nicht mehr, weil Du dann zwei unterschiedlichen Kombinationen aus Feldern haben könntest, die den gleichen Key ergäben.
      - tejste
        
        2014-07-24 09:09
        
        User since
        2012-11-15
        21 Artikel
        BenutzerIn
        
        Vielen Dank für die zahlreichen Tipps, ich werde Eure Code heute testen.
      - Muffi
        
        2014-07-24 09:18
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Im Zweifelsfall hau ich sowas eiskalt in einen Serialisierer. Z.B. JSON.
        Der macht das dann schon richtig.
        1 + 1 = 10

View all threads created 2014-07-23 12:46.