$sth->finish(); zwingend erforderlich (Allgemeines zu Perl)

[thread]14135[/thread]

$sth->finish(); zwingend erforderlich

Leser: 26

Articles: hide open all | hide show old branches

+21 replies
Gast Torsten

2009-10-13 18:25

hi,

ich betreibe eine seite die in den letzten 2 jahren sich zunehmender beliebtheit erfreut. mit zunehmender beliebtheit wächst natürlich auch der ressourcenhunger der hier eingesetzten mysql datenbank.

ein blick auf die auslastung per "top" bescheinigt mir das im schnitt ca. 50 - 60% der ressourcen durch mysql verbraten wird.

nachdem ich alle möglichen versuche unternommen habe, das system bzw. mein apache, die perl scripte dich ich geschrieben habe und mysql zu tunen, fällt mir auf das ich nach einer datenbank abfrage nie ->finish(); aufgerufen habe. bisher habe ich mich immer verlassen das die offenen verbindungen durch mysql automatisch beendet werden. ich weiss, das ist mit sicherheit kein sauberer programmierstil, aber meint ihr es hat auswirkungen auf die performance? im schnitt laufen 10 - 20 queries pro sekunde.

über feedback würde ich mich freuen ...

gruß
t
- +12 replies
- pq
  
  2009-10-13 18:35
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  eigentlich wird das finish automatisch augerufen, wenn $sth aus dem scope fällt, d.h. wenn der aktuelle block, in dem es definiert ist, zu ende ist.
  
  ich empfehle unbedingt munin o.ä., um einen guten überblick zu haben, was der webserver und der apache machen.
  unter linux ist das sehr einfach zu installieren, dann musst du noch die plugins apache_accesses, apache_processes, mysql_queries und mysql_slowqueries aktivieren und ggfs. konfigurieren.
  wenn du dann optimierungen machst, siehst du recht schnell, was sich ändert.
  wenn du mit CGI arbeitest, wird die connection (im $dbh) sowieso beendet, bei mod_perl nur dann, wenn es keine globale variable ist, aber bei mod_perl empfiehlt es sich, die verbindung in einer variable zu halten, die global verfügbar ist, damit du nicht jedesmal die verbindung neu aufbauen musst.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +11 replies
  - Gast Torsten
    
    2009-10-13 18:53
    hi,
    
    danke für das schnelle feedback. ich nutze cgi, kein mod_perl.
    vielleicht zum besseren verständnis, wie "unprofessionell" ich meine queries absetze und auswerte ;)
    
    generell einmal im script der db connet:
    
    Code: (dl )
    
    1 2
    
    $dbh = DBI->connect("dbi:mysql:datenbank", "user", "passwort") or die "Can't connect to database: $DBI::errstr\n";
    
    dann kommt die erste abfrage:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8
    
    my $SELECT = "SELECT irgendwas"; my $select = $dbh->prepare( "$SELECT" ) || die "Kann Statement nicht vorbereiten: $DBI::errstr\n"; $select->execute || die "Kann Abfrage nicht ausfuehren: $DBI::errstr\n"; while (my @TMP = $select->fetchrow_array()) { mache irgendwas mit dem output .... }#while (my @TMP = $select->fetchrow_array()) {
    
    dann irgendwann kommt die nächste abfrage in der gleichen sub:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8
    
    $SELECT_MOST = "irgendein select"; $select_most = $dbh->prepare( "$SELECT_MOST" ) || die "Kann Statement nicht vorbereiten: $DBI::errstr\n"; $select_most->execute || die "Kann Abfrage nicht ausfuehren: $DBI::errstr\n"; while (my @TMP = $select_most->fetchrow_array()) { mache irgendwas mit dem output .... }#while (my @TMP = $select_most->fetchrow_array()) {
    
    ich nutze also keine einteilung in blöcke oder so ... die frage ist ob alle definierten verbindungen, die ich mit $select und $select_most bist $select_XXX eröffnet habe beim ende der sub dann automatisch geschlossen werden?
    
    wenn ich mysql mit status abfrage bekomme ich auch eine irrwitzig grosse zahl bei "Opens" ...
    
    danke für den tipp bzgl munin ... muss ich mir mal anschauen .. aktuell nutze ich nagios ... allerdings noch rudimentär da ich früher eigentlich immer auf BigBrother gesetzt habe ;)
    - +5 replies
    - pq
      
      2009-10-13 18:59
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      hm, du nutzt CGI und hast 10-20 queries pro sekunde?
      unser forum hat im schnitt 1 datenbank-query pro sekunde, tagsüber sind es dann auch schonmal 2-3 (immer über 5 minuten gerechnet, das ist die kleinst einheit von munin).
      dann hast du entweder eine menge mehr hits auf deine webseite (dann würde ich sowieso erstmal mod_perl empfehlen), oder du machst sehr viele selects. dann stellt sich die frage, was sind das alles für selects? wenn es suchabfragen sind, empfehle ich eine suchmaschine statt der mysql-suche (z.b. KinoSearch o.ä.).
      ansonsten kannst du *sehr* viel durch caching sparen. einzelne queries können zwar von mysql auch gecached werden, aber wenn du mehrere selects machst und dir daraus eine datenstruktur aufbaust, könnte es sinnvoll sein, diese z.b. mit memcached zu cachen.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - pq
        
        2009-10-13 19:01
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        2009-10-13T16:59:06 pq
        unser forum hat im schnitt 1 datenbank-query pro sekunde, tagsüber sind es dann auch schonmal 2-3
        
        dazu muss auch gesagt werden, dass die forums-software sehr viel daten cached. ohne cache wären das sicher ein paar mehr
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +3 replies
      - ze312
        
        2009-10-13 19:11
        
        User since
        2004-01-15
        13 Artikel
        BenutzerIn
        
        aktuell hab ich gerechnet über die letzten 3 tage 11 queries pro sekunde.
        seitenzugriffe pro monat um die 600.000.
        
        ansonsten hole ich eigentlich den gesamten content aus der db. leider sind es keine suchabfragen, so daß eine suchmaschine nicht genutzt werden könnte.
        
        bzgl mod_perl hatte ich schon mal überlegt einzusetzen, aber da ich darin 0 erfahrung habe, hab ich keine ahnung was hier alles einzustellen wäre um es zu nutzen ... installiert is aber das apache modul.
        
        pq
        
        2009-10-13 19:20
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        hm, also wir hatten 700.000 hits im september. von daher ist die anzahl der queries schon sehr hoch.
        
        memcached ist einfach zu installieren, und mit Cache::Memcached gibt es auch ein sehr einfach zu benutzendes modul dafür.
        
        überleg dir halt mal, was du dir jeweils für daten holst und ob du die wirklich bei jedem request aktuell brauchst.
        in der regel (aus meiner erfahrung) reicht ein caching von 1 minute schonmal aus, um die last auf die db signifikant zu senken.
        als beispiel: die liste der online-user links wird 1min gecached.
        die liste der heutigen posts wird momentan glaub ich 3min gecached (und expired, wenn ein neues post hinzukommt).
        die einzelnen messages werden gecached (bbcode-rendering und weitere selects werden dadurch gespart, wenn ein thread mehrmals hintereinander aufgerufen wird).
        ausserdem kann man z.b. die session cachen (kommt darauf an, ob du sessions nutzt, ich weiss ja nicht, was das fur eine seite ist).
        
        mod_perl kann man recht einfach mit ModPerl::Registry aktivieren, dafur empfiehlt es sich aber, wenn du den hauptteil deines skriptes in ein modul auslagerst und nur den aufruf im skript selbst hast, da ModPerl::Registry dein skript wiederum in ein modul mit einer subroutine verschachtelt.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        pq
        
        2009-10-13 19:26
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        der grosse vorteil von mod_perl wäre hier halt, dass du den $dbh nur einmal pro prozess erstellen musst. die connection aufzubauen ist ein nicht zu vernachlässigender last-faktor.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
    - +5 replies
    - pq
      
      2009-10-13 19:47
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      Guest Torsten
      danke für den tipp bzgl munin ... muss ich mir mal anschauen .. aktuell nutze ich nagios ...
      
      nagios ist fürs monitoring, also benachrichtigen, falls irgendwas kritisch aussieht. munin erstellt schöne graphen für verschiedene zeiträume, und wenn man sich dann z.b. die apache accesses nimmt und mit dem graphen für mysql queries vergleicht, sieht man meist schön, was da so passiert.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +4 replies
      - ze312
        
        2009-10-13 19:50
        
        User since
        2004-01-15
        13 Artikel
        BenutzerIn
        
        ok .. dann muss ich mir das mal anschauen ... das problem im generellen ist das der source code in den letzten 2 jahren wild gewachsen ist, eigentlich wäre ein redesign von nöten, aber dazu fehlt mir einfach die motivation und die zeit :)
        
        das mit dem memcache hört sich auch nicht so schlecht an ... muss ich mir auch mal zu gemüte führen.
        
        +3 replies
        
        Linuxer
        
        2009-10-14 00:18
        
        User since
        2006-01-27
        3891 Artikel
        HausmeisterIn
        
        Es gibt Plugins für Nagios, die aus den abgefragten Statuswerten ebenfalls Graphen generieren. Wir nutzen dazu beispielsweise NagiosGraph...
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +2 replies
        
        sid burn
        
        2009-10-14 12:40
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Wir nutzen PNP4Nagios.
        
        http://docs.pnp4nagios.org/pnp-0.4/start
        
        Hat etwas schönere graphen und ist auch relativ leicht/schnell aufgesetzt gewesen.
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
        
        ze312
        
        2009-10-14 22:20
        
        User since
        2004-01-15
        13 Artikel
        BenutzerIn
        
        hey ... danke für den tipp .. habs grad mal installiert.
        hab aber das problem das default mässig nicht alle services grafisch ausgewertet werden, nur http, load, swap, current users und filesystem...hab leider in der hilfe nix finden können warum dies so ist :(
- +8 replies
- sid burn
  
  2009-10-13 18:45
  User since
  2006-03-29
  1520 Artikel
  BenutzerIn
  Du brauchst "->finish()" nur dann zu machen wenn du nicht alle Records einer Abfrage ausgelsen hast.
  
  Wenn du deine Daten z.b. so ausliest.
  
  Code: (dl )
  
  1 2
  
  while ( my $row = $sth->fetchrow_arrayref ) { }
  
  dann brauchst du kein nachfolgendes "->finish()" mehr.
  
  finish() musst du nur dann hinzufügen, wenn du mit "fetchrow..." nicht solange liest bis es "undef" als rückgabe zurück gegeben hat. Daher wenn du z.B. soetwas machst.
  
  Code: (dl )
  
  1 2
  
  $sth->prepare("SELECT COUNT(*) FROM asd"); my $row = $sth->fetchrow_arrayref;
  
  Dann brauchst du dringend ein "->finish()" Weil hier zwar ein Eintrag ausgelesen wird (auch wenn nur einer corhanden sein wird), aber eigentlich sind zwei vorhanden. Sprich der Cursor in der Datenbank gibt dir eine zeile zurück und dann die Information "nicht mehr vorhanden". Solange du die Information "nicht mehr vorhanden" abrufst bleibt also ein Cursor auf der DB offen.
  
  Ansonsten Cached MySQL auch die Abfragen wodurch es einiges an RAM braucht. Das ist auch gut so weil MySQL dadurch schneller wird. Ansonsten hast du denn RAM Probleme? Wenn du ein "free" ausgiebst wird swap genutzt? Wenn nein spielt es auch keine Rolle wieviel MySQL an RAM nutzt.
  
  RAM ist dafür da das er genutzt wird. Von RAM der in deinem System ist aber ungenutzt oder Leer ist hast du nichts von. Dann kannst du den RAM auch wieder ausbauen.
  
  Diese falsche Windows Mentalität "ich brauche freien ram" ist daher etwas falsch.
  
  Wenn der RAM wirklich ein Problem darstellt. Was heißt das Linux anfängt zu swapen musste du entweder mehr RAM einbauen, oder aber MySQL begrenzen wieviel RAM er nutzen darf soetwas konnte man meine ich in der "my.cnf" Konfigurieren. Die genauen Parameter dazu weiß ich gerade nicht.
  Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
  - +2 replies
  - ze312
    
    2009-10-13 19:08
    
    User since
    2004-01-15
    13 Artikel
    BenutzerIn
    
    hi,
    
    danke für die infos ...
    
    ram probleme hab ich ab und an wenns überhand nimmt. ram nachrüsten wird schwierig, der server wird gehostet und steht irgendwo in deutschland ;)
    normal hab ich aber immer so an die 400 mb frei ..
    - pq
      
      2009-10-13 19:42
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      wenn du nur noch 400MB übrig hast, könnte es eng werden, wenn du mod_perl aktivierst und zusätzlich memcached benutzt, da empfielht sich dann evtl. Cache::FileCache statdessen. obwohl memcached auch nicht so viel braucht, gecachte datenstrukturen brauchen nicht soo viel platz. aber caching wäre vielleicht an deiner stelle mein erster schritt. dann hast du erstmal etwas last weg.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +5 replies
  - ze312
    
    2009-10-13 19:18
    User since
    2004-01-15
    13 Artikel
    BenutzerIn
    
    Quote
    Du brauchst "->finish()" nur dann zu machen wenn du nicht alle Records einer Abfrage ausgelsen hast.
    
    Wenn du deine Daten z.b. so ausliest.
    
    Code: (dl )
    
    1 2
    
    while ( my $row = $sth->fetchrow_arrayref ) { }
    
    dann brauchst du kein nachfolgendes "->finish()" mehr.
    
    eigentlich nutze ich es genau so, so daß ich also kein finish bräuchte? komisch ist nur das mysql status bei "open tables", immer um die 64 angibt ... :(
    Last edited: 2009-10-13 19:32:28 +0200 (CEST)
    - +4 replies
    - pq
      
      2009-10-13 19:22
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      bitte korrekt quoten, so wie ich das sehe, hast du jetzt den geamten beitrag von sidburn gequotet und deine antwort in ein quote dadrin verschachtelt. das kann keiner mehr auseinanderhalten.
      am besten eh nur das nötigste quoten, den absatz, auf den du antwortest.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +3 replies
      - ze312
        
        2009-10-13 19:23
        
        User since
        2004-01-15
        13 Artikel
        BenutzerIn
        
        sorry ;) beim nächsten mal mach ichs richtig ;)
        
        +2 replies
        
        pq
        
        2009-10-13 19:24
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        du kannst (darfst, sollst) deinen beitrag auch nachträglich editieren, bitte =)
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        ze312
        
        2009-10-13 19:33
        
        User since
        2004-01-15
        13 Artikel
        BenutzerIn
        
        done ;)

View all threads created 2009-10-13 18:25.