MyISAM oder InnoDB (Allgemeine technische Fragen)

[thread]18706[/thread]

MyISAM oder InnoDB

Tags: perl5 Ähnliche Threads

Leser: 19

Articles: hide open all | hide show old branches

+19 replies
kristian

2013-10-25 14:49

User since
2005-04-14
684 Artikel
BenutzerIn

Hallo

ich plane eine größere Datenmenge in einer MySQL-Datenbank abzulegen.
Umgebung:
- Rootserver
- 16G Ram, etwa 8G für MySQL frei
- 20 DB's mit je 100 Tables
- gesamt etwa 200G Daten
- die Daten werden ständig erneuert, sprich 1 x pro Woche 200G schrieben

Erstmal stellt(e) sich die Frage MyISAM oder InnoDB, die habe ich für mich schon fast entschieden, es wird wohl InnoDB werden.

Was mir Angst macht:
Bei InnoDB werden - so wie es aussieht - alle Daten in eine große Datei geschrieben.
Optimierungstools sagen mir, ich soll den Wert innodb_buffer_pool_size auf die Größe dieser Datei setzen oder größer.
Letztendlich bedeutet das, soviel Ram wie Daten, nur den Ram habe ich nicht und werde ihn (im Moment) auch nicht bekommen.
Speed ist bei der Veranstaltung aber wichtig, auch wenn quasi ständig geschrieben wird, muss man aus der DB noch lesen können. Zum Lesen / Anzeigen läuft ein FCGI, ich will die Seiten im 10tel Sekundenbereich haben.

Meine Frage:
Hat schon mal eine(r) von euch solchen Blödsinn veranstaltet und hat Tipps?
Kann mir jemand ein guten Fachforum raten in dem ich ev. Tipps bekomme?

TIA & Gruß
Kristian
- +8 replies
- pq
  
  2013-10-25 15:07
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  du kannst innodb auch so konfigurieren, dass pro tabelle eine datei angelegt wird. weiss jetzt den konfig-parameter nicht auswendig.
  
  RAM ist natürlich immer gut, aber es gibt bestimmt ne menge anwendungen, die mehr als 16GB daten haben und trotzdem nicht mehr RAM. kann mir nicht vorstellen, dass das wirklich notwendig ist.
  
  wenn du keine transaktionssicherheit brauchst, könnte es sich bzgl. performance aber durchaus mal lohnen, MyISAM zu testen. pauschal lässt sich das aber nicht voraussagen, ob es schneller ist.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +7 replies
  - kristian
    
    2013-10-25 15:37
    
    User since
    2005-04-14
    684 Artikel
    BenutzerIn
    
    Hallo pq
    
    2013-10-25T13:07:16 pq
    du kannst innodb auch so konfigurieren, dass pro tabelle eine datei angelegt wird. weiss jetzt den konfig-parameter nicht auswendig.
    
    Danke für den Tipp.
    Kurz gegoogelt =>
    Quote
    [mysqld]
    innodb_file_per_table
    ist schon mal ein Anfang.
    
    2013-10-25T13:07:16 pq
    RAM ist natürlich immer gut, aber es gibt bestimmt ne menge anwendungen, die mehr als 16GB daten haben und trotzdem nicht mehr RAM. kann mir nicht vorstellen, dass das wirklich notwendig ist.
    
    wenn du keine transaktionssicherheit brauchst, könnte es sich bzgl. performance aber durchaus mal lohnen, MyISAM zu testen. pauschal lässt sich das aber nicht voraussagen, ob es schneller ist.
    
    Jein, gefühlt ist es so, dass ich bei MyISAM für den ersten Zugriff auf die DB extrem viel Zeit brauche, danach ist der table wohl im Ram aber der erste Zugriff ist deutlich im Sekundenbereich, das sehe ich bei InnoBD derzeit nicht.
    Testen würde ich gerne bis zum Abwinken, nur mir läuft die Zeit weg, von daher freue ich mich über jeden Erfahrungswert, der helfen kann.
    
    Danke
    Kristian
    
    OT:
    Wenn Ram kein Geld kosten würde käme der ganze Quatsch nach /dev/shm, das war bei meinen Tests der einzig richtige Platz dafür ;-)
    Das Geld reicht aber im Moment nur für 2 SSD als Raid0 am Hardware-Raid-Controler
    
    EDIT:
    Das Verwendung von Raw Devices für den Shared Tablespace hätte ich ev. vorher lesen sollen, dann wäre es kein Raid0 geworden aber das kann ich dem Hoster jetzt wohl eher nicht mehr zumuten. Obendrein wird dann wohl Trimm etc. für die SSD's "etwas schwierig"
    Last edited: 2013-10-25 15:59:16 +0200 (CEST)
    - +6 replies
    - jan
      
      2013-10-25 17:18
      
      User since
      2003-08-04
      2536 Artikel
      ModeratorIn
      
      2013-10-25T13:37:38 kristian
      2013-10-25T13:07:16 pq
      RAM ist natürlich immer gut, aber es gibt bestimmt ne menge anwendungen, die mehr als 16GB daten haben und trotzdem nicht mehr RAM. kann mir nicht vorstellen, dass das wirklich notwendig ist.
      
      wenn du keine transaktionssicherheit brauchst, könnte es sich bzgl. performance aber durchaus mal lohnen, MyISAM zu testen. pauschal lässt sich das aber nicht voraussagen, ob es schneller ist.
      
      Jein, gefühlt ist es so, dass ich bei MyISAM für den ersten Zugriff auf die DB extrem viel Zeit brauche, danach ist der table wohl im Ram aber der erste Zugriff ist deutlich im Sekundenbereich, das sehe ich bei InnoBD derzeit nicht.
      
      Das ist merkwürdig und solltest Du vielleicht mal genauer untersuchen.
      Praktisch ist MyISAM immer massiv viel schneller als InnoDB, dafür gibt's halt keine Transaktionen, keinen Foreign Key, kein Row Level Locking etc pp. Aber wenn MyISAM langsamer ist als InnoDB, dann stimmt irgendwas vermutlich nicht.
      - +5 replies
      - kristian
        
        2013-10-25 18:10
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        2013-10-25T15:18:15 jan
        2013-10-25T13:37:38 kristian
        Jein, gefühlt ist es so, dass ich bei MyISAM für den ersten Zugriff auf die DB extrem viel Zeit brauche, danach ist der table wohl im Ram aber der erste Zugriff ist deutlich im Sekundenbereich, das sehe ich bei InnoBD derzeit nicht.
        
        Das ist merkwürdig und solltest Du vielleicht mal genauer untersuchen.
        Praktisch ist MyISAM immer massiv viel schneller als InnoDB, dafür gibt's halt keine Transaktionen, keinen Foreign Key, kein Row Level Locking etc pp. Aber wenn MyISAM langsamer ist als InnoDB, dann stimmt irgendwas vermutlich nicht.
        
        Wieder mal jein ;-)
        Man muss es differenziert sehen.
        Solange es nur um die Ausgabe der Daten geht habe ich kein Problem, weder mit MyISAM noch mit InnoDB.
        Wenn ich aber Daten aus einer Table ausgeben will in die gerade geschrieben wird - und das kommt häufig vor - dann wird es eng.
        Ohnehin ist das Schreiben bei der Veranstaltung das große Problem. Die Festplatten kommen einfach nicht nach.
        Ich hatte ursprünglich einen Server von der Stange bestellt, das Desaster schlechthin, CPU idelt / wait bei fast 100%.
        OK, auf Nachfrage hingen die "ultra-geilen SATA3-Enterprise-Platten" an einem SATA2-Port, das konnte nicht gehen.
        Jetzt habe ich wie gesagt SSD's an einem qualifizierten Controller, da läuft es zumindest halbwegs.
        Im Programmablauf kommt es an mehren Stellen zum update einzelner Datenzeilen, im Normalfall 50 -300 in einem Vorgang, an anderen Stellen werden ein paar hundert Einträge - im seltenen Extremfall ein paar tausend - auf einen Rutsch aktualisiert.
        Es ist mir klar, dass ich damit die Platten toaste aber es geht halt nicht anders. Von daher ist das Locking ein ganz wichtiger Faktor.
        Wenn es wie im Normalfall nur ums Lesen ginge, ok, dann könnte MyISAM wohl der richtige Weg sein.
        
        Gruß
        Kristian
        Last edited: 2013-10-25 18:12:13 +0200 (CEST)
        
        +4 replies
        
        jan
        
        2013-10-25 18:39
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        2013-10-25T16:10:09 kristian
        2013-10-25T15:18:15 jan
        2013-10-25T13:37:38 kristian
        Jein, gefühlt ist es so, dass ich bei MyISAM für den ersten Zugriff auf die DB extrem viel Zeit brauche, danach ist der table wohl im Ram aber der erste Zugriff ist deutlich im Sekundenbereich, das sehe ich bei InnoBD derzeit nicht.
        
        Das ist merkwürdig und solltest Du vielleicht mal genauer untersuchen.
        Praktisch ist MyISAM immer massiv viel schneller als InnoDB, dafür gibt's halt keine Transaktionen, keinen Foreign Key, kein Row Level Locking etc pp. Aber wenn MyISAM langsamer ist als InnoDB, dann stimmt irgendwas vermutlich nicht.
        
        Wieder mal jein ;-)
        Man muss es differenziert sehen.
        Solange es nur um die Ausgabe der Daten geht habe ich kein Problem, weder mit MyISAM noch mit InnoDB.
        Wenn ich aber Daten aus einer Table ausgeben will in die gerade geschrieben wird - und das kommt häufig vor - dann wird es eng.
        
        Klar, das ist dann defintiv ein Killer für MyISAM weil die ganze Tabelle gelockt wird. Da bist Du mit InnoDB sicher besser beraten -- aber vielleicht kannst Du auch mischen, Schreib/Lese-Intensive Tabellen als InnoDB, reine Lese-Tabellen (oder solche, die sich selten akut ändern) als MyISAM.
        Oder Du wirfst mehr Hardware drauf, das wird wohl das einfachste sein. Mit Tablespaces um Tabellen und Indizes ordentlich zu trennen erhöhst Du die Performance nochmals.
        
        Allerdings natürlich auch die Frage: ist MySQL zwingend? MyISAM ist super, aber InnoDB habe ich schon öfter von PostgreSQL geschlagen gesehen, was Performance angeht.
        
        +3 replies
        
        kristian
        
        2013-10-25 21:31
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        2013-10-25T16:39:06 jan
        Klar, das ist dann defintiv ein Killer für MyISAM weil die ganze Tabelle gelockt wird. Da bist Du mit InnoDB sicher besser beraten -- aber vielleicht kannst Du auch mischen, Schreib/Lese-Intensive Tabellen als InnoDB, reine Lese-Tabellen (oder solche, die sich selten akut ändern) als MyISAM.
        Oder Du wirfst mehr Hardware drauf, das wird wohl das einfachste sein. Mit Tablespaces um Tabellen und Indizes ordentlich zu trennen erhöhst Du die Performance nochmals.
        
        Allerdings natürlich auch die Frage: ist MySQL zwingend? MyISAM ist super, aber InnoDB habe ich schon öfter von PostgreSQL geschlagen gesehen, was Performance angeht.
        
        Es ist im Moment MySQL und da komme ich kurz oder mittelfristig auch nicht raus.
        InnoDB ist wegen der Locks dann wohl auch klar, danke für die Bestätigung.
        
        Mehr Hardware - ich habe ja schon geguckt und hätte auch gerne - wäre ein Smartarray, bestehend aus SSD's gepaart mit viel Ram, für die ich dann die richtigen CPU's brauche, weil die letztendlich die möglich Menge des verwaltbaren Rams bestimmen, kurz 5 x so teuer wie die jetzige Lösung aber nicht unbedingt 5 x so effektiv.
        Daher, klares nein, irgendwo habe ich ein Limit, da gibt es den kaufmännischen Blick, es gibt aber auch ein Budget, dass keine Luft mehr lässt.
        Wenn es so nicht gehen sollte wird es halt langsamer als geplant / erhofft, wird aber die Konkurrenz hoffentlich immer noch um Welten schlagen.
        
        Bitte alle mal auf Holz klopfen! ;-)
        
        Gruß
        Kristian
        
        +2 replies
        
        jan
        
        2013-10-25 22:20
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        Zum Thema Hardware: das kommt doch sehr auf den Provider an.
        Klar, das hängt alles mit der Uptime zusammen, die Du brauchst, aber ich fahre z.B. allgemein sehr gut mit Hetzner. Damit könntest Du Hardware auf das Problem werfen, ohne dich gleich zu verausgaben.
        
        kristian
        
        2013-10-26 13:42
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        Hallo
        
        2013-10-25T20:20:18 jan
        Zum Thema Hardware: das kommt doch sehr auf den Provider an.
        Klar, das hängt alles mit der Uptime zusammen, die Du brauchst, aber ich fahre z.B. allgemein sehr gut mit Hetzner. Damit könntest Du Hardware auf das Problem werfen, ohne dich gleich zu verausgaben.
        
        Ja, wenn mich einer fragt - das passiert ab und zu - sage ich auch, Hetzner hat im Moment die günstigste Hardware, besonders wenn man mit einem Server von der Stange hinkommt. Der EX40 SSD war durchaus im Gespräch für das Projekt.
        Wenn man keinen Standard will und das Flexi-Pack braucht dann wird es allerdings auch wieder etwas teurer.
        Für das was ich bei meinem derzeitigen Hoster habe würde ich bei Hetzner etwa das Gleiche bezahlen, der Unterschied liegt in der Anbindung, derzeit 1GB direkt am Backbone OHNE Drossel. Hetzner will nur 200 MB garantieren.
        Aber es tut sich nicht viel. Ich hatte sogar schon so ein Ding (EX40SSD) bei Hetzner geordert, bekam daraufhin irgendwann eine Mail meine Server seien fertig. Ja Mehrzahl. Hmm, Anruf beim Support und das Gespräch ging dann voll in die Hose. Ergebnis, kein Server bei Hetzner.
        (hatten wohl beide keinen guten Tag, die Dame vom Support und ich...)
        Es geht auch nicht um Verausgaben, es geht um Wirtschaftlichkeit, es wird ein Webservice, den hoffentlich viele Kunden nutzen, die Preise sind zumindest so angedacht, dass es für jeden bezahlbar ist.
        Dabei muß am Ende aber noch ein klein bisschen überbleiben, damit ich die Entwicklung refinanzieren kann und Luft habe für die Weiterentwicklung und den Betrieb.
        
        Gruß
        Kristian
- +9 replies
- Raubtier
  
  2013-10-25 18:39
  
  User since
  2012-05-04
  1075 Artikel
  BenutzerIn
  
  Ist mysql gesetzt? Sonst könntest du auch mal postgres ausprobieren. Muss es eigentlich auch eine relationale DB sein?
  - +5 replies
  - GwenDragon
    
    2013-10-25 19:09
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Wenn du bitte sagen würdest, was du nicht verstehst, wär's besser.
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +7 replies
    - bianca
      
      2013-10-25 19:03
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      2013-10-25T16:39:01 Raubtier
      Ist mysql gesetzt?
      
      2013-10-25T12:49:29 kristian
      eine größere Datenmenge in einer MySQL-Datenbank abzulegen
      
      Bin ich jetzt gerade zu doof?
      10 print "Hallo"
      20 goto 10
      - +4 replies
      - bianca
        
        2013-10-25 19:26
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-10-25T17:09:08 GwenDragon
        Wenn du bitte sagen würdest, was du nicht verstehst, wär's besser.
        
        So ungefähr als wäre die Frage, wie man im Wald überleben kann und die Gegenfrage wäre, wo man in der Stadt gern essen gehen würde, wenn man könnte.
        10 print "Hallo"
        20 goto 10
        
        +3 replies
        
        jan
        
        2013-10-25 19:39
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        Eher: ich plane mit diesem Zelt in einer regenreichen Gegend zu campen. Was kann ich tun, um nicht allzu nass zu werden.
        Und dann die Frage: muss es denn dieses Zelt sein? Vielleicht ist jenes besser geeignet.
        
        +2 replies
        
        GwenDragon
        
        2013-10-25 19:54
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Ja, das skandinavische Mieskel-Zelt hält keinen Ansturm von Mammuts-Regenschüben aus. Aber das altmodisch graue Post-Gre(i)slich ;)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        jan
        
        2013-10-25 21:09
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        Ich kenne mich da ganz und gar nicht aus, aber da ich kürzlich für meine Mutter eins kaufen musste, da sie sich eins wünschte, kam ich in Berührung mit den Wassersäulen und muss das verarbeiten. Glücklicherweise waren ihre Anforderungen (Stehhöhe, Format, Länge) so besonders, dass die Superzelte mit denen man mit ein paar Steinen als Gewicht wohl auch ein UBoot konstruiieren kann, nicht in Betracht kamen. Die sind dann auch gleich in einer Kategorie bepreist gewesen, wo man schon mehrere Gebrauchtwagen bekommt ;) Insofern muss die 5000 mm Wassersäule reichen.
        
        Aber genug von meinen Berührungen mit der Zelt-Branche (fündig wurde ich übrigens bei terracamp, ein extrem sympathischer Laden inklusive manuell versandten Status-Emails. Da kribbelte es mir in den Fingern, meine Leistungen anzubieten ... wenn ich nur die Zeit hätte), hier geht es ja um ernsthafte Datenbanken!
      - payx
        
        2013-10-25 19:10
        
        User since
        2006-05-04
        564 Artikel
        BenutzerIn
        
        2013-10-25T12:49:29 kristian
        ich plane eine größere Datenmenge in einer MySQL-Datenbank abzulegen
        (Hervorhebung von mir)
        
        2013-10-25T17:03:36 bianca
        Bin ich jetzt gerade zu doof?
        
        Ich nehme an, Raubtier spielt auf die prinzipielle Möglichkeit an, dass man einen Plan ändern kann.
        Last edited: 2013-10-25 19:13:12 +0200 (CEST)
      - kristian
        
        2013-10-25 21:09
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        2013-10-25T16:39:01 Raubtier
        Ist mysql gesetzt? Sonst könntest du auch mal postgres ausprobieren. Muss es eigentlich auch eine relationale DB sein?
        
        2013-10-25T16:39:01 Raubtier
        Ist mysql gesetzt? Sonst könntest du auch mal postgres ausprobieren. Muss es eigentlich auch eine relationale DB sein?
        
        Ja, MySQL ist momentan gegeben, eine relationale DB wird es auf jeden Fall sein.
        PostgreSQL kann ev. die bessere DB sein, ich bin auf Grund dessen, was ich zu dem Thema gelesen habe, bereit dies zu glauben.
        Es ist aber so, dass ich mit PostgreSQL ein - für mich - neues Buch aufschlage. Das Vorwort habe ich bislang gelesen aber ein Wechsel würde das Abenteuer derzeit zu spannend machen.
        
        Gruß
        Kristian
  - GwenDragon
    
    2014-01-01 11:55
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Verschoben von Datenbanken und Verzeichnisdienste nach Allgemeine technische Fragen
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
View all threads created 2013-10-25 14:49.