Speicherverbrauch von XML::LibXML-DOM-Objekten (Fragen zu Perl-Modulen)

[thread]14902[/thread]

Speicherverbrauch von XML::LibXML-DOM-Objekten

Tags: XML Ähnliche Threads

Leser: 17

Articles: hide open all | hide show old branches

+10 replies
leo11

2010-04-01 19:52

User since
2008-08-14
250 Artikel
BenutzerIn

Hallo,

mich intressiert wieviel Speicher ein Objekt belegt, speziell die Dom-Objekte von XML::LibXML. Devel::Size ist nur für Hashes, Arrays und Skalare. Hinter XML::LibXML liegt C-Stuff. Die Meinungen bisher besagen, dass das nicht geht. Ist das richtig? Ggf. warum kann ich den Speicherverbrauch in Bytes für das DOM-Objekt xy nicht anzeigen lassen?
Last edited: 2010-04-01 20:56:40 +0200 (CEST)
- bianca
  
  2010-04-01 20:13
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  @Mod: Schlage Verschiebung in neues Forum "Fragen zu Perl-Modulen" vor.
  10 print "Hallo"
  20 goto 10
- +2 replies
- GwenDragon
  
  2010-04-01 20:31
  
  User since
  2005-01-17
  14767 Artikel
  Admin1
  
  Wie willst du es denn anzeigen?
  Beispielcode.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - leo11
    
    2010-04-01 20:55
    User since
    2008-08-14
    250 Artikel
    BenutzerIn
    
    2010-04-01T18:31:12 GwenDragon
    Beispielcode.
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71
    
    #!/usr/bin/perl use strict; use warnings; use XML::LibXML; use Devel::Size qw/total_size/; my $s1 = str1(); my $x1 = XML::LibXML->new(); my $p1 = $x1->parse_string($s1); my $s2 = str2(); my $x2 = XML::LibXML->new(); my $p2 = $x2->parse_string($s2); print 'Used Bytes: ', total_size($p1),"\n"; print 'Used Bytes: ', total_size($p2),"\n"; sub str1 { return <<END; <?xml version="1.0" ?> <Kunden xmlns="xxx"> <Kunde id="45325"> <Name>Meier</Name> <Vorname>Peter</Vorname> <Umsatz>1423</Umsatz> <Kaeufe>28</Kaeufe> </Kunde> <Kunde cc:id="45326" xmlns:cc="yyy"> <Name>Schmidt</Name> <Vorname>Harald</Vorname> <Umsatz>7421.00</Umsatz> <Kaeufe>19</Kaeufe> </Kunde> </Kunden> END } sub str2 { return <<END; <?xml version="1.0" ?> <Kunden xmlns="xxx"> <Kunde id="45325"> <Name>Meier</Name> <Vorname>Peter</Vorname> <Umsatz>1423</Umsatz> <Kaeufe>28</Kaeufe> </Kunde> <Kunde cc:id="45326" xmlns:cc="yyy"> <Name>Schmidt</Name> <Vorname>Harald</Vorname> <Umsatz>7421.00</Umsatz> <Kaeufe>19</Kaeufe> </Kunde> <Kunde id="45325"> <Name>Meier</Name> <Vorname>Peter</Vorname> <Umsatz>1423</Umsatz> <Kaeufe>28</Kaeufe> </Kunde> <Kunde cc:id="45326" xmlns:cc="yyy"> <Name>Schmidt</Name> <Vorname>Harald</Vorname> <Umsatz>7421.00</Umsatz> <Kaeufe>19</Kaeufe> </Kunde> </Kunden> END }
    
    Ausgabe:
    
    Code: (dl )
    
    1 2 3
    
    $ ./dom_size.pl Used Bytes: 72 Used Bytes: 72
- +6 replies
- Gast ҉
  
  2010-04-02 14:19
  
  Du benötigst GTop, siehe Beispielprogramm: http://perl.apache.org/docs/1.0/guide/performance....
  Last edited: 2010-04-02 14:26:26 +0200 (CEST)
  - +5 replies
  - GwenDragon
    
    2010-04-03 09:55
    
    User since
    2005-01-17
    14767 Artikel
    Admin1
    
    GTop misst aber nur den Speicherverbrauch des Prozesses.
    
    Ging des dem Startposter nicht um die Größe der Objekte in XML::LibXML?
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +4 replies
    - leo11
      
      2010-04-03 10:31
      
      User since
      2008-08-14
      250 Artikel
      BenutzerIn
      
      2010-04-03T07:55:52 GwenDragon
      GTop misst aber nur den Speicherverbrauch des Prozesses.
      
      Beim überfliegen der Methoden von GTop seh ich auch keine Möglichkeit etwas anderes zu übergeben als eine PID. Ok, wie man über folgendes grep sieht kann man auch etwas anderes übergeben, aber das hat nichts mit der Frage zu tun.
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8 9 10 11
      
      $ grep -P '$.+$' gtop_docu my $fsusage = $gtop->fsusage($disk); my $mountlist = $gtop->mountlist($all_fs); my $netload = $gtop->netload($interface); my $proc_args = $gtop->proc_args($pid); my $proc_map = $gtop->proc_map($pid); my $proc_mem = $gtop->proc_mem($pid); my $proc_segment = $gtop->proc_segment($pid); my $proc_state = $gtop->proc_state($pid); my $proc_time = $gtop->proc_time($pid); my $proc_uid = $gtop->proc_uid($pid);
      
      Entweder der Gast der GTop empfohlen hat war zu voreilig, oder wir übersehen was.
      
      Quote
      Ging des dem Startposter nicht um die Größe der Objekte in XML::LibXML?
      
      Ja, darum ging es mir.
      
      Vielleicht mag jemand mal etwas zu den Problemen erklären, die mit der Frage einhergehen? Mich wundert, das man immer wieder über DOM vs SAX und Speicherverbrauch liest, aber nirgends mal ein paar Werte findet. Hat jemand eine Idee, wie ich mir wenigstens den durchschnittl. Speicherverbrauch des Prozesses anzeigen lassen kann. Oder grafisch den Verlauf der Speichernutzung des Prozesses. GTop::Mem liefert hier nur vereinzelte Werte, zu deren Interpretation auch nix erklärt wird. Wenn ich schon für die DOM-Objekte keine Werte erhalte, kann ich das Thema vielleicht über diesen Weg einschätzen.
      Last edited: 2010-04-03 10:35:22 +0200 (CEST)
      - +3 replies
      - Gast ҉
        
        2010-04-03 14:42
        
        Quote
        wir übersehen was
        
        Dies.
        
        Habt ihr überhaupt das Beispielprogramm gelesen? Ihr seid ganz furchtbare Programmierer. Ich kann es nur noch einmal in Worten sagen: Größe des Objekts ist gleich Größe des Prozesses nach Erzeugung des Objekts minus Größe des Prozesses vor Erzeugung des Objekts.
        
        Das sind 53 KiB für $p1 und nichts für $p2, so wie es jetzt programmiert ist. http://google.com/search?q=libxml+memory+overalloc...
        Last edited: 2010-04-03 14:43:49 +0200 (CEST)
        
        +2 replies
        
        leo11
        
        2010-04-03 18:56
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        Guest ҉
        Habt ihr überhaupt das Beispielprogramm gelesen?
        
        Hab ich gelesen und probiert:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
        
        use GTop (); my $gtop = GTop->new; my $m1 = $gtop->proc_mem($$)->size; print $m1,"\n"; my $s1 = str1(); my $x1 = XML::LibXML->new(); my $p1 = $x1->parse_string($s1); my $m2 = $gtop->proc_mem($$)->size; print $m2,"\n"; my $s2 = str2(); my $x2 = XML::LibXML->new(); my $p2 = $x2->parse_string($s2); my $m3 = $gtop->proc_mem($$)->size; print $m3,"\n";
        
        Ausgabe:
        
        Code: (dl )
        
        1 2 3 4
        
        $ ./dom_size.pl 50098176 50098176 50098176
        
        Quote
        Ich kann es nur noch einmal in Worten sagen: Größe des Objekts ist gleich Größe des Prozesses nach Erzeugung des Objekts minus Größe des Prozesses vor Erzeugung des Objekts.
        
        Würdest du das mal an meinem Bsp. demonstrieren? Laut der Ausgabe oben bring eine Subtraktion nichts.
        
        Quote
        nichts für $p2,
        
        Das 2'te Objekt verbraucht sicherlich mehr Speicher als das erste.
        
        Gast ҉
        
        2010-04-03 21:20
        
        Wenn du nach Speicherbelegung fragst, dann geht man davon aus, dass du auch darüber/malloc/Betriebssystem/bereits verlinkte Eigenheiten von libxml Bescheid weißt. Wenn nicht, lass dir das von einem anderen Experten erklären. Ich hab jetzt keine Lust mehr.
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
        
        # Belegung "anwärmen" my $gtop = GTop->new; my $x = XML::LibXML->new; $x->parse_string('<root/>'); my @attr = qw(size vsize resident share rss rss_rlim); say join "\t", map {substr $_, 0, 7} @attr; my (%before, %after); # kleinstmögliche Gültigkeitsbereiche, aber Berechnung im selben Bereich, # ansonsten +4 KiB unnützer Stack { $before{$_} = $gtop->proc_mem($$)->$_ for @attr; my $p1 = $x->parse_string($s1); $after{$_} = $gtop->proc_mem($$)->$_ for @attr; say join "\t", map {$after{$_} - $before{$_}} @attr; } { $before{$_} = $gtop->proc_mem($$)->$_ for @attr; my $p2 = $x->parse_string($s2); $after{$_} = $gtop->proc_mem($$)->$_ for @attr; say join "\t", map {$after{$_} - $before{$_}} @attr; } __END__ size vsize residen share rss rss_rli 0 0 57344 53248 57344 0 0 0 0 0 0 0
        
        Last edited: 2010-04-03 21:38:31 +0200 (CEST)

View all threads created 2010-04-01 19:52.