Was macht prepare_cached wirklich? (gelöst) (Datenbanken und Verzeichnisdienste) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Datenbanken und Verzeichnisdienste

2025-01-12 02:54:57
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
0 Benutzer online
1 Gast

[thread]17412[/thread]

submit to reddit

Was macht prepare_cached wirklich? [gelöst]

[gelöst]

Tags: perl5 Ähnliche Threads

Leser: 25

Articles: hide open all | hide show old branches

+19 replies
rosti

2012-05-09 18:44
User since
2011-03-19
3504 Artikel
BenutzerIn
Z.Z. habe ich ein etwas umfangreicheres Script/Modul am Wickel, was mit vielen prepared Statments arbeitet. Es geht um den Transfer von Datein von einer DB zur Anderen.

Dabei ist eine Abfrage, die aus DB#1 die Ergebnismenge als Array-Slice liefert, in etwa so
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14

[ { id_db1 => 1 data => foo, } { id_db1 => 2 data => bar, } { id_db1 => 1 data => baz, } ]
D.h., die IDs aus DB#1 kommen über das Array gesehen mehrfach vor, mit unterschiedlichen Daten. Zum Einfügen in die DB#2 gehts über das Array, wobei aus id_db1 jedesmal id_db2 zu ermitteln ist und genau dafür verwende ich ein prepared Statement: prepare_cache.

Ich denke, dass der Cache hier voll zum Zuge kommt, wenn sich an DB#2 gerichtete Abfragen wiederholen im Verlauf der Iteration über das Array mit gleicher id_db1.

Bitte sagt mir, ob das wirklich so ist ;)

Es gäbe auch andere Möglichkeiten, aber ich denke, dass ich den Code so stehen lassen kann, 'prepare_cache' gegenüber 'prepare' muss ja wohl irgendwie einen Sinn haben...
Last edited: 2012-05-09 18:47:27 +0200 (CEST)
- +10 replies
- pq
  
  2012-05-09 19:07
  User since
  2003-08-04
  12208 Artikel
  Admin1
  verstehe die frage nicht so ganz.
  was prepared_cached macht, ist ja dokumentiert.
  vereinfacht ein ersatz für:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6
  
  my $sth = $cached{ $sql }; unless ($sth) { $sth = $dbh->prepare($sql); # ggfs. $sth->finish } $cached{ $sql } = $sth;
  
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +9 replies
  - rosti
    
    2012-05-09 19:54
    User since
    2011-03-19
    3504 Artikel
    BenutzerIn
    
    Die Doku schreibts tatsächlich, abstrakt isses wohl so (vereinfacht):
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9
    
    $STH = $DBH->prepare_cached("SELECT x from y WHERE z=?"); $STH->execute('33'); $STH->fetch...; # Abfrage erst an Cache, dann DB $STH = $DBH->prepare("SELECT x from y WHERE z=?"); $STH->execute('33'); $STH->fetch...; # Abfrage ohne Umschweife an DB
    
    PS: Also, wenn das so ist, kann ich meinen Kunden morgen beruhigen, dass mein Script die DB-Verbindung nicht überstrapaziert ;)
    Last edited: 2012-05-09 19:56:33 +0200 (CEST)
    - +8 replies
    - pq
      
      2012-05-09 20:17
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      prepare_cached cacht keine resultate. das macht ggfs. die datenbank.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +7 replies
      - rosti
        
        2012-05-09 20:26
        
        User since
        2011-03-19
        3504 Artikel
        BenutzerIn
        
        2012-05-09T18:17:55 pq
        prepare_cached cacht keine resultate. das macht ggfs. die datenbank.
        
        Aus der Doku, bezüglich prepare_cached:
        '...Like prepare except that the statement handle returned will be stored in a hash associated with the $dbh.'
        
        Die DB hat auch einen Cache aber das ist ne andere Geschichte ;)
        
        +6 replies
        
        pq
        
        2012-05-09 20:40
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        brauchst mich nicht zu belehren und aus der doku vorzulesen. *du* hast ja schliesslich gefragt. und jetzt liest du mir aus der doku vor, was ich gerade gesagt habe.
        
        ich weise nur darauf hin, weil deine aussage so klang, als ob du glaubtest, dass resultate gecacht werden.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +5 replies
        
        rosti
        
        2012-05-09 20:50
        
        User since
        2011-03-19
        3504 Artikel
        BenutzerIn
        
        Quote
        ich weise nur darauf hin, weil deine aussage so klang, als ob du glaubtest, dass resultate gecacht werden.
        
        Genauso hab ich das mittlerweile in der Doku gelesen.
        
        +4 replies
        
        pq
        
        2012-05-09 21:21
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        ja, das resultat von prepare (der sth) wird gecacht, nicht aber das ergebnis des selects.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +3 replies
        
        rosti
        
        2012-05-09 21:42
        
        User since
        2011-03-19
        3504 Artikel
        BenutzerIn
        
        Überraschung:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10
        
        my $DBH = dbh() or die $@; my $STH = undef; $STH = $DBH->prepare_cached("SELECT file from perlbase WHERE id=?") or die $@; $STH->execute(33) or die $@; $STH->fetchrow_hashref; $STH->execute(33); sleep 10; # in dieser Zeit stoppte ich den mysql Server print Dumper $STH->fetchrow_hashref; # Ergebnis kommt!
        
        Ergo: Das Ergebnis des Selects wurde aus dem Cache geholt, denn es wurde ausgegeben, obwohl die Verbindung in der Zwischenzeit weggefallen ist.
        
        +2 replies
        
        pq
        
        2012-05-09 22:01
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        das execute holt sich auch ggfs. schon das ergebnis, je nach datenbank.
        dasselbe ergebnis bekommst du mit einem normalen prepare() auch.
        
        du musst das sleep schon vor dem execute machen:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        $ perl -wE' use DBI; my $dbh = DBI->connect(...); $dbh->do("set wait_timeout=5"); my $sth = $dbh->prepare_cached("SELECT COUNT(*) FROM ..."); $sth->execute or die $dbh->errstr; say $sth->fetchrow_array; sleep 6; $sth->execute or die $dbh->errstr; say $sth->fetchrow_array; ' 0 DBD::mysql::st execute failed: MySQL server has gone away at -e line 9. MySQL server has gone away at -e line 9.
        
        aber egal. wenn du es glauben möchtest, dass die daten gecacht werden, ist das vielleicht auch ok. erzähls nur bitte nicht weiter =)
        Last edited: 2012-05-09 22:03:33 +0200 (CEST)
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        rosti
        
        2012-05-09 22:30
        
        User since
        2011-03-19
        3504 Artikel
        BenutzerIn
        
        Habs mittlerweile auch gesehen, dass es keinen Unterschied zwischen prepare || _cached gibt, den von mir geglaubten Cache gibts wohl so gar nicht. Da werde ich mir was einfallen lassen (müssen).
        
        Viele Grüße,
        Rosti
- +8 replies
- rosti
  
  2012-05-11 18:17
  
  User since
  2011-03-19
  3504 Artikel
  BenutzerIn
  
  Das eigentliche Problem ist das Cachen. Ich habe es jetzt so gelöst und gebe diesen Tipp gerne weiter ;)
  
  http://rolfrost.de/map/perlbase/fcache.html
  - +3 replies
  - murphy
    
    2012-05-11 19:00
    
    User since
    2004-07-19
    1776 Artikel
    HausmeisterIn
    
    Zum Cachen von Funktionsrückgabewerten würde ich ja Memoize empfehlen.
    
    Und wenn man sich dabei ertappt, in einer Schleife über Ergebnisse einer Datenbankabfrage weitere Abfragen anzustoßen, sollte man nochmal nachdenken, ob sich das nicht durch einen Join lösen lässt, dann erledigt nämlich das RDBMS die Optimierungsarbeit.
    When C++ is your hammer, every problem looks like your thumb.
    - rosti
      
      2012-05-11 19:46
      
      User since
      2011-03-19
      3504 Artikel
      BenutzerIn
      
      Joins über mehrere verschiedene Datenbanksysteme hinweg interessieren mich auch ;D
    - rosti
      
      2012-05-11 20:34
      
      User since
      2011-03-19
      3504 Artikel
      BenutzerIn
      
      2012-05-11T17:00:13 murphy
      Zum Cachen von Funktionsrückgabewerten würde ich ja Memoize empfehlen.
      
      Klasse Modul!!!
      Nur eine Datei, kannste überall hintun...
      
      Viele Grüße,
      Rolf
      
      PS: Habs auch nicht versäumt, einen Bench zu machen, Memoize vs. %cache, Ergebnis: Kein Unterschied.
      
      PS: Korrektur, die Lösung mit dem eigenen Cache(Hash) ist deutlich schneller.
      Last edited: 2012-05-11 21:01:20 +0200 (CEST)
  - +4 replies
  - rosti
    
    2012-06-05 23:04
    
    User since
    2011-03-19
    3504 Artikel
    BenutzerIn
    
    2012-05-11T16:17:49 rosti
    Das eigentliche Problem ist das Cachen. Ich habe es jetzt so gelöst und gebe diesen Tipp gerne weiter ;)
    
    http://rolfrost.de/map/perlbase/fcache.html
    
    Ab Perl v 5.010 gibt es 'state' damit kann ein Cache auch innerhalb der Funktion gebaut werden. Ein Beispiel in PHP findet ihr hier:
    http://rolfrost.de/map/perlbase/state.html
    
    Was prepared Statements betrifft, ist PHP leider noch nicht so weit wie Perl, die neuen Schnittstellen mysqli (improved) und PDO funktionieren nicht auf allen Systemen und funktionieren meist auch nicht so, wie in der Dokumentation beschrieben, aber das nurmalso nebenbei ;)
    - +3 replies
    - renee
      
      2012-06-06 04:43
      
      User since
      2003-08-04
      14371 Artikel
      ModeratorIn
      
      Für diesen Zweck gibt es schon seit langem Memoize.
      
      Edith sagt, dass murphy schon vorher auf das Modul hingewiesen hat und renee erstmal alles lesen sollte ;-)
      OTRS-Erweiterungen (http://feature-addons.de/)
      Frankfurt Perlmongers (http://frankfurt.pm/)
      --
      
      Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
      Perl-Entwicklung: http://perl-services.de/
      - +2 replies
      - rosti
        
        2012-06-06 18:31
        
        User since
        2011-03-19
        3504 Artikel
        BenutzerIn
        
        2012-06-06T02:43:07 renee
        Für diesen Zweck gibt es schon seit langem Memoize.
        
        Edith sagt, dass murphy schon vorher auf das Modul hingewiesen hat und renee erstmal alles lesen sollte ;-)
        
        Es ist so, dass es beim Kunden vor Ort sehr unterschiedliche Perl-Umgebungen gibt und das Vorhandensein bestimmter Module nicht immer vorausgesetzt werden kann.
        
        Viele Grüße,
        Rosti
        
        bianca
        
        2012-06-06 18:43
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-06-06T16:31:18 rosti
        Es ist so, dass es beim Kunden vor Ort sehr unterschiedliche Perl-Umgebungen gibt und das Vorhandensein bestimmter Module nicht immer vorausgesetzt werden kann.
        
        Hosten diese Kunden den Server selbst?
        10 print "Hallo"
        20 goto 10

View all threads created 2012-05-09 18:44.