Spaltenliste für INSERT Befehl erstellen (gelöst) (Allgemeines zu Perl)

[thread]18828[/thread]

Spaltenliste für INSERT Befehl erstellen [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+23 replies
qwe123qwe

2014-01-02 21:26
User since
2013-10-08
65 Artikel
BenutzerIn
Guten Abend !
gleich am Anfang der Hinweis, daß die Frage eventuell in das Unterforum für die Datenbanken verschoben werden sollte.....

So, und jetzt zum Problem :
mit folgendem Code
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

#!/usr/bin/perl -w .. .. .. for (my $i = .......) { for (my $j = ........) { for (my $k = ........) { for (my $l = ..........) { for (my $m = .........) { for (my $n = ............) { system("bt_csv.pl --pairs $i,$j,$k,$l,$m,$n >> bt_csv.out"); bt_in_db ($i, $j, $k, $l, $m, $n); } } } } } } # Funktion zum Abspeichern der Daten in die SQLite Datenbank sub bt_in_db { my %ergebnis = (); open (BTOUT, "<bt_csv.out"); # bt-ausgabedatei zeilenweise einlesen while (my $zeile = <BTOUT>) { # jeweilige Werte mittels Muster entnehmen und Variablen zuweisen if ($zeile = /(.+)\s=\s(.+)/) { $ergebnis{$1} = $ergebnis{$2}; } } close (BTOUT); # Schleifenargumente und Variablen als einzelne Zeile in SQLite-Datenbank schreiben # WICHTIG : die Datenbanktabelle MUSS derzeit bereits vorhanden sein ! (macht das Sinn ?) $dbh->do("INSERT INTO btergebnis VALUES($_[0],$_[1],........)"); }
möchte ich eine SQLite Datenbank füllen. Grob gesagt läuft das so ab, daß ich mehrere verschachtelte Schleifen habe, aus deren Zählvariablen die Argumente für einen externen Programmaufruf gebastelt werden. Das Programm erzeugt dann eine Datei mit verschiedenen Ergebnissen, die alle in der Form
Quote
"Schlüssel" = "Wert"
zeilenweise drinstehen (also wie bei einem Hash).
In der Datenbank sollen dann in einer Zeile die Schleifenvariablen und die Ergebniswerte stehen.

Jetzt könnte ich das natürlich einfach so wie in der letzten Zeile des obigen Codes machen und alle VALUES der Reihe nach in eine einzige INSERT Zeile schreiben. Da das aber recht viele Ergebniswerte sind, würde diese Zeile ellenlang und extrem unübersichtlich werden und deshalb suche ich da eine Alternative.

Meine erste Idee war, aus den Zeilen der Ergebnisdatei tatsächlich einen Hash zu bilden, aus diesem Hash zwei Listen (keys + values) zu bilden und dann diese Listen als Variable in die INSERT-Zeile zu setzen. Funktioniert aber nicht, da bei der Variableninterpretation die Listenelemente nicht (mehr) durch Komma sondern nur durch Leerzeichen getrennt werden.
Die zweite Idee war, in den Schleifen Zeichenketten zu bauen, die die Listenelement + Kommas als Trenner enthalten und dann diese Zeichenketten als Variable in der INSERT-Zeile zu verwenden.
Ich denke, das sollte auch so klappen. Das sieht aber derart "grausam" und nach PASCAL aus, daß ich mir eigentlich nicht vorstellen kann, daß es in perl da keine elegantere Lösung gibt......

So, hoffentlich hab ich das Problem einigermaßen verständlich geschildert. Wäre toll, wenn da jemand eine Anregung für guten Perl-Code hätte...

P.S.: allen auch noch ein gutes neues Jahr !
Last edited: 2014-01-02 21:55:59 +0100 (CET)
- +18 replies
- Muffi
  
  2014-01-02 21:57
  
  User since
  2012-07-18
  1465 Artikel
  BenutzerIn
  
  Die erste Regel ist schon mal Werte nicht direkt in eine query zu schreiben, sondern Fragezeichen zu benutzen. Und ansonsten sieht der Code insgesamt recht komisch aus.
  Sag doch mal die Zeilennummer, welche schöner werden soll
  1 + 1 = 10
  - +17 replies
  - qwe123qwe
    
    2014-01-02 22:07
    
    User since
    2013-10-08
    65 Artikel
    BenutzerIn
    
    da mir schon klar ist, daß das Konstrukt als ganzes "nicht so toll" ist bin ich auch für radikale Vorschläge offen. So vom Gefühl her hätte ich das eigentlich lieber so, daß die Datenbank direkt befüllt wird beim Entstehen der Daten -- also innerhalb der letzten for-Schleife und dann innerhalb der while-Schleife die die Ergebnise zeilenweise einliest. Nur hab ich da zu wenig Ahnung, wie ich das mit SQL hinbekommen kann....
    
    Aber richtig Bauchschmerzen habe ich vor allem mit der Zeile 38, also dem do - Aufruf, der die Datenbank befüllen soll.
    - +16 replies
    - Muffi
      
      2014-01-02 22:13
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      ungetestet
      
      Code (perl): (dl )
      
      ...do('... VALUES ('.join(',', ('?') x @_).')', @_);
      
      1 + 1 = 10
      - +7 replies
      - qwe123qwe
        
        2014-01-02 22:19
        
        User since
        2013-10-08
        65 Artikel
        BenutzerIn
        
        Danke !
        Probier ich morgen aus.
        
        +6 replies
        
        Gast wer
        
        2014-01-02 22:59
        
        Code (perl): (dl )
        
        ...do('... VALUES ('.join(',', ('?') x @_).')', undef, @_);
        
        das undef nicht vergessen
        Last edited: 2014-01-02 23:03:06 +0100 (CET)
        
        +5 replies
        
        rosti
        
        2014-01-02 23:11
        
        User since
        2011-03-19
        3472 Artikel
        BenutzerIn
        
        Guest wer
        
        Code (perl): (dl )
        
        ...do('... VALUES ('.join(',', ('?') x @_).')', undef, @_);
        
        das undef nicht vergessen
        
        Nein. An dieser Stelle wird eine Hash-Referenz erwartet. Notiere {} statt undef;
        
        +4 replies
        
        pq
        
        2014-01-03 10:21
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        2014-01-02T22:11:35 rosti
        Guest wer
        das undef nicht vergessen
        
        Nein.
        
        Nein?
        
        Quote
        An dieser Stelle wird eine Hash-Referenz erwartet.
        
        Ja, oder undef. Genau wie bei prepare() ist die optional.
        
        Quote
        Notiere {} statt undef;
        
        lies doch bitte noch einmal die doku. da steht gleich als erstes ein beispiel mit do() und undef.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +3 replies
        
        rosti
        
        2014-01-03 10:55
        
        User since
        2011-03-19
        3472 Artikel
        BenutzerIn
        
        Quote
        lies doch bitte noch einmal die doku. da steht gleich als erstes ein beispiel mit do() und undef.
        
        Gerne lese ich die doku
        
        Quote
        In general, you can ignore "\%attr" parameters or
        pass it as "undef".
        
        Es gibt gute Gründe, eben nicht undef; zu notieren. Du kannst das machen wie Du willst. Einem der mit DBI beginnt hingegen, dem empfehle ich {} an dieser Stelle.
        
        +2 replies
        
        pq
        
        2014-01-03 11:02
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        2014-01-03T09:55:06 rosti
        Es gibt gute Gründe, eben nicht undef; zu notieren.
        
        Es gibt auch gute Gründe, Alu-Hüte zu tragen.
        
        Quote
        Du kannst das machen wie Du willst.
        
        Ich? Aber nur ich? Oder wer sonst noch?
        
        Quote
        Einem der mit DBI beginnt hingegen, dem empfehle ich {} an dieser Stelle.
        
        Und warum?
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        rosti
        
        2014-01-21 09:11
        
        User since
        2011-03-19
        3472 Artikel
        BenutzerIn
        
        Klar, Du kannst auch undef notieren, weil dann jeder sehen kann, dass da eine Hashref hingehört ;)
        
        Btw., ich hatte mal einen Kollegen, der hat das auch immer gemacht und an einer anderen Stelle eine sehr (!) umständliche Funktion geschrieben, die das tat, wofür die Hashref auch gereicht hätte.
        
        Vergleiche hinken.
      - +8 replies
      - qwe123qwe
        
        2014-01-24 14:27
        
        User since
        2013-10-08
        65 Artikel
        BenutzerIn
        
        das ist wirklich zum Mäusemelken....
        wieso bekomme ich bei
        
        Code (perl): (dl )
        
        $dbh->do('INSERT INTO btergebnis ('.join(',', @spalten).') VALUES ('.join(',', ('?') x @werte).') ', undef, @werte);
        
        die Fehlermeldung
        
        Quote
        DBD::SQLite::db do failed: near "system": syntax error at ./t.pl line 70.
        
        ich seh da wahrscheinlich den Wald vor lauter Bäumen nicht.
        (@spalten und @werte sind übrigens richtig definiert)
        
        +5 replies
        
        Muffi
        
        2014-01-24 14:41
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        schick den insert doch mal nicht los, sondern lass dir den gesamten string mal ausgeben.
        1 + 1 = 10
        
        +4 replies
        
        qwe123qwe
        
        2014-01-24 14:48
        
        User since
        2013-10-08
        65 Artikel
        BenutzerIn
        
        ich hab erst einmal nahsehen müssen, wie das geht.
        okay, mit ? anstelle '?' bekomme ich jetzt aber
        
        Quote
        Use of ?PATTERN? without explicit operator is deprecated at ./t.pl line 70.
        Search pattern not terminated or ternary operator parsed as search pattern at ./t.pl line 70.
        
        aber ich hab doch den x Operator angegeben (oder nicht ?)
        
        +3 replies
        
        Muffi
        
        2014-01-24 14:51
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Du sollst einfach Vom ersten ' bis zum letzten ' alles nehmen und einen print davor schreiben.
        1 + 1 = 10
        
        +2 replies
        
        qwe123qwe
        
        2014-01-24 15:12
        
        User since
        2013-10-08
        65 Artikel
        BenutzerIn
        
        dann bekomm ich
        
        Quote
        INSERT INTO btergebnis (<hier ist die expandierte Spaltenliste>) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)
        
        also wird hier der Platzhalter bei den VALUES eben nicht ersetzt.
        
        Muffi
        
        2014-01-24 15:47
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Und genau die Spaltenliste wär das interessante gewesen.
        DBD::SQLite::db sagt dir doch, dass da irgendwo ein Syntax-Error drin ist und zwar an einer Stelle, die "system" heisst.
        Da in Deinem string keine system vorkommt wird's wohl an ner andern Stelle sein.
        1 + 1 = 10
        
        +2 replies
        
        GwenDragon
        
        2014-01-24 15:39
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8
        
        my $sql = 'INSERT INTO btergebnis (' . join(',', @spalten) . ') VALUES (' . join(',', ('?') x @werte) . ') '; say "Generated SQL: \n$sql\n"; $dbh->do($sql, undef, @werte);
        
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        qwe123qwe
        
        2014-01-24 17:02
        
        User since
        2013-10-08
        65 Artikel
        BenutzerIn
        
        @Muffi + @GwenDragon
        
        Quote
        DBD::SQLite::db sagt dir doch, dass da irgendwo ein Syntax-Error drin ist und zwar an einer Stelle, die "system" heisst.
        
        meine Güte, DAS war mein Fehler. Ich bin immer davon ausgegangen, daß damit ein System-Call gemeint war....
        Mit dem Code von GwenDragon funktioniert's jetzt !!
        
        Vielen herzlichen Dank euch beiden !!
- +4 replies
- rosti
  
  2014-01-02 22:33
  
  User since
  2011-03-19
  3472 Artikel
  BenutzerIn
  
  Das alles zusammen sieht nicht grausam nach Pascal aus sondern nach einer hoffnungslosen Konzept- und Planlosigkeit der Datenverarbeitung. Das kann doch nicht Dein Ernst sein, eine CSV-Datei über einen system-call zu schleifen und dann mit Perl verarbeiten zu wollen. Und überhaupt: Wo kommen die Daten denn her? Trennzeichen sind Müll, in dem Moment, wenn das Trennzeichen selbst in den Werten vorkommt, jaja, schon gut, das kann maskiert werden, aber ich würde erstmal mit dem reden, der Dir die Daten in CSV-Dateien schickt, da gibts bestimmt andere Möglichkeiten, die Daten sicherer und konsistenter zu transportieren.
  
  Und dann das Insert-Statement, merke: Die Feldnamen sind zu nennen, das bestimmt die Reihenfolge der Werte, nennst Du die Feldnamen nicht, kann das total in die Hose gehen und das tut es auch. Wieviele Felder hat denn die Tabelle? Ich hatte Kollegen, die operierten mit Tabellen, die mehr als 20 (in Worten: zwanzig) Felder hatten und die wollten mir was über DB-Design erzählen. Darüber könntest Du auch mal nachdenken.
  
  Multiple Inserts: Das muss nicht sein, mehrere Insert-Statments sind keine Schande und mit prepared Statements performant zu machen.
  
  Wenn du an der Quelle, CSV-Datei nicht vorbei kommst, beschreibe mal, wie die aussieht. Vielleicht fällt mir was ein.
  
  --Rosti
  - +3 replies
  - qwe123qwe
    
    2014-01-02 23:15
    
    User since
    2013-10-08
    65 Artikel
    BenutzerIn
    
    Quote
    Das alles zusammen sieht nicht grausam nach Pascal aus sondern nach einer hoffnungslosen Konzept- und Planlosigkeit der Datenverarbeitung. Das kann doch nicht Dein Ernst sein, eine CSV-Datei über einen system-call zu schleifen und dann mit Perl verarbeiten zu wollen. Und überhaupt: Wo kommen die Daten denn her? Trennzeichen sind Müll, in dem Moment, wenn das Trennzeichen selbst in den Werten vorkommt, jaja, schon gut, das kann maskiert werden, aber ich würde erstmal mit dem reden, der Dir die Daten in CSV-Dateien schickt, da gibts bestimmt andere Möglichkeiten, die Daten sicherer und konsistenter zu transportieren.
    
    Ich muß zugeben, daß ich selbst nicht von dem Skript überzeugt bin. Aber ich bin a) kein IT-Profi und b) sowhl Perl- als auch SQL-Anfänger. Infolgedessen bin ich schon heilfroh, wenn ich die Datenbank (nur zum Hausgebrauch) beschreiben und wieder auslesen kann.
    Ja, es gibt die Möglichkeit, die Ergebnisse in einer XML-Datei und auch als (mehr oder weniger) formatierten Text auf dem Bildschirm zu erhalten. Als ich aber dem derzeitig aktiven Projektbetreuer geschildert habe, was ich a) kenne und b) haben möchte, hat er dankenswerterweise als zusätzliche Ausgabevariante eine ASCII-Datei hinzugefügt, die eben die Ergebnisse zeilenweise ausgibt (ist also keine echte csv - Datei). Mit XML komme ich noch weniger zurecht.....
    
    Das Projekt geniustrader ist OpenSource, aber leider kaum mehr aktiv. Ich bin da drauf gestoßen, weil ich für andere Daten ähnliche Auswerte- und Grafikmodule benötige. Jetzt benutze ich das in erster Linie um den Umgang mit solcher Art von Skripten zu lernen. Vielleicht auch nicht die allerbeste Idee ...
    - +2 replies
    - rosti
      
      2014-01-03 09:27
      
      User since
      2011-03-19
      3472 Artikel
      BenutzerIn
      
      Moin,
      
      besser wärs, die Schlüssel-Werte-Paare gar nicht erst in irgendwelchen Dateien(CSV, XML, JSON...) zwischenzuspeichern, sondern gleich an das Perlscript zu übergeben, beispielsweise über eine Pipe. Solche Records würde ich auch nicht mit textlichen Mitteln strukturieren, sondern mit Längenangaben arbeiten (use bytes, pack, unpack), aus dem Pipe wird dann byteweise gelesen und die ankommenden Daten werden gleich weggeschrieben. Wenn die Prozesse nicht auf dergleichen Maschine laufen, brauchst Du ein transparente Übertragung, HTTP, Socket o.ä.
      
      --Rosti
      - qwe123qwe
        
        2014-01-03 10:30
        
        User since
        2013-10-08
        65 Artikel
        BenutzerIn
        
        Quote
        besser wärs, die Schlüssel-Werte-Paare gar nicht erst in irgendwelchen Dateien(CSV, XML, JSON...) zwischenzuspeichern, sondern gleich an das Perlscript zu übergeben
        
        Ja natürlich, das haben wir (also ich und der Projektbetreuer) auch überlegt. Die erforderlichen Eingriffe in das Ausgabeprogramm wären aber so massiv, daß wir uns doch wieder für den Umweg über das Zwischenspeichern entschieden haben und damit mein Skript sozusagen vom Projektcode abzukoppeln. Problematisch ist da z.B. die Übergabe der Schleifenparameter an die Datenbank und auch die Verwaltung der (zusätzlichen) Datenbank mit den vorhandenen Datenbankmodulen.
        
        Schön ist das nicht, aber damit hab ich wenigstens die Chance mit meinen Bordmitteln auszukommen. Mit reinen Pipes der Bildschirmausgabe geht's auch, aber da seh ich keine Vereinfachung.
        Last edited: 2014-01-03 10:34:26 +0100 (CET)

View all threads created 2014-01-02 21:26.