Parsen dauert ewig lange mit XML::LibXML (Fragen zu Perl-Modulen)

[thread]14416[/thread]

Parsen dauert ewig lange mit XML::LibXML

Leser: 16

Articles: hide open all | hide show old branches

+12 replies
BratHering

2009-12-25 23:57
User since
2005-04-28
155 Artikel
BenutzerIn
Hallo,

es sollte ein einfaches Unterfangen sein ein XHTML-Dokument zu parsen, jedoch bin ich auf ein mir unerklärliches Verhalten von XML::LibXML gestoßen.

Also ich benutze das o.g. Modul, um ein 4KB großes XHTML-Dokument mittels der Methode parse_file in ein DOM einzulesen. Das dauert ca. 10 Sekunden. Verwende ich aber stattdessen die Methode parse_html_file so ist die Zeit nicht mehr zu messen, so schnell geht das. Und das Ergebnis, nämlich das DOM, ist das gleiche.

Doch warum diese zeitliche Differenz? Kann mir das jemand bitte erklären? - Oder habe ich etwas grundsätzlichen an XML nicht verstanden? Danke schon mal.

Dies ist mein Code:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11

use strict; use XML::LibXML; my $pathToFile = "/path/to/file"; my $parser = new XML::LibXML; # Folgender Code ist das problem my $dom = $parser->parse_file($pathToFile); # bzw. my $dom = $parser->parse_html_file($pathToFile); # Nur eine von beiden verwenden!
Gruß
Brathering
- murphy
  
  2009-12-26 00:50
  
  User since
  2004-07-19
  1776 Artikel
  HausmeisterIn
  
  Es ist eine wilde Vermutung, aber je nach Einstellung des Parsers wäre es theoretisch möglich, dass das XML-Dokument beim Einlesen auch validiert wird und dafür zunächst die DTD oder das Schema aus dem Internet heruntergeladen werden. Dadurch ließe sich eine gewisse Verzögerung erklären.
  When C++ is your hammer, every problem looks like your thumb.
- +8 replies
- bianca
  
  2009-12-26 07:42
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Sind Einflüsse durch irgendwelches Caching im Rahmen der Tests bezogen auf die Datei und das ganze Modul ausgeschlossen?
  10 print "Hallo"
  20 goto 10
  - +7 replies
  - BratHering
    
    2009-12-26 09:08
    
    User since
    2005-04-28
    155 Artikel
    BenutzerIn
    
    Hallo,
    
    ja Caching ist ausgeschlossen. Das mit der Validierung klingt interessant. Weiß jemand wie man diese abschalten kann?
    
    MfG
    Brathering
    - +6 replies
    - bianca
      
      2009-12-26 09:37
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Weiter unten in der Doku steht das hier:
      http://search.cpan.org/~msergeant/XML-LibXML-1.00/LibXML.pm#validation
      
      Code: (dl )
      
      1 2
      
      XML::LibXML->validation(1); Turn validation on (or off). Defaults to off.
      
      Hilft das?
      10 print "Hallo"
      20 goto 10
      - +5 replies
      - BratHering
        
        2009-12-26 10:38
        
        User since
        2005-04-28
        155 Artikel
        BenutzerIn
        
        Leider nein.
        
        Jetzt habe ich folgenes ausprobiert:
        
        Code: (dl )
        
        1 2 3
        
        XML::LibXML->validation(0); # Bewirkt nur mehr Warnungen, dauert immer noch lange XML::LibXML->load_ext_dtd(0); # DOM wird nicht aufgebaut local $XML::LibXML::skipDTD = 1; # Kein Effekt festzustellen
        
        Und das trennen des Rechners vom Internet bewirkt: http error: no such file or directory ...wobei der Code nicht mehr ist als das im initialen Post.
        
        Die Zeitmessung auf der Console mit time ergibt folgendes:
        
        Code: (dl )
        
        1 2 3
        
        real 0m9.390s user 0m0.154s sys 0m0.042s
        
        Wie man sieht langweilt sich die CPU...
        
        Noch eine Idee?
        
        +4 replies
        
        murphy
        
        2009-12-26 14:57
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        2009-12-26T09:38:27 BratHering
        [...]
        Jetzt habe ich folgenes ausprobiert:
        
        Code: (dl )
        
        1 2 3
        
        XML::LibXML->validation(0); # Bewirkt nur mehr Warnungen, dauert immer noch lange XML::LibXML->load_ext_dtd(0); # DOM wird nicht aufgebaut local $XML::LibXML::skipDTD = 1; # Kein Effekt festzustellen
        
        Und das trennen des Rechners vom Internet bewirkt: http error: no such file or directory ...wobei der Code nicht mehr ist als das im initialen Post.
        [...]
        
        Auf jeden Fall bestätigt das meine Vermutung. Kannst Du denn genauer erläutern, was der obige Kommentar
        Quote
        DOM wird nicht aufgebaut
        bedeuten soll — bei mir funktioniert das Parsen einwandfrei und schnell, wenn ich load_ext_dtd auf 0 setze, während andernfalls so wie bei Dir ein zeitraubender Netzwerkzugriff erfolgt.
        
        Versionsinformation meiner Installation:
        
        Code: (dl )
        
        1 2
        
        $ perl -MXML::LibXML -le '$, = ", "; print XML::LibXML::LIBXML_VERSION, XML::LibXML::LIBXML_RUNTIME_VERSION' 20632, 20705
        
        When C++ is your hammer, every problem looks like your thumb.
        
        +3 replies
        
        BratHering
        
        2009-12-26 15:39
        
        User since
        2005-04-28
        155 Artikel
        BenutzerIn
        
        Hallo,
        
        mit dem nicht so ganz korrekten Kommentar...
        Quote
        DOM wird nicht aufgebaut
        ...meine ich, dass der Rückgabewert der Methode parse_file zwar ein vollsändiges XML::LibXML::Document zu sein scheint, wenn load_ext_dtd(0) gesetzt ist. Aber mit diesem DOM kann ich nicht arbeiten, weil die Methode getElementById nur undef zurückliefert.
        
        Gruß Brathering
        
        +2 replies
        
        murphy
        
        2009-12-26 20:05
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        Ok, das ist natürlich ärgerlich, auch wenn eigentlich klar ist, warum das passiert: Wenn keine DTD geladen wird, hat der Parser keinerlei Informationen über die Bedeutung der Attribute in der XML-Datei. Da die hier vorliegende Datei global einen XML-Namensraum vorgibt, wird nun jedes Attribut, das der Parser antrifft mit dem entsprechenden Namensraumpräfix versehen, unter anderem auch die id-Attribute. Ein Attribut des vollständig qualifizierten Namens {http://www.w3.org/1999/xhtml}id ist aber etwas anderes als ein Attribut des vollständig qualifizierten Namens {http://www.w3.org/XML/1998/namespace}id und wird daher von der Methode getElementById nicht erkannt.
        
        Fazit: Der Parser macht alles spezifikationsgetreu richtig, aber das Fehlen einer künstlichen Intelligenz, die die id-Attribute intuitiv richtig interpretieren könnte, macht sich störend bemerkbar ;-)
        
        Mir fallen für dieses Problem mindestens zwei saubere Lösungen ein: Zum einen könnte man weiterhin die DTD des XHTML-Dokumentes ignorieren aber schlicht alle id-Attribute explizit mit dem vordefinierten Namensraumpräfix xml: versehen — es lässt sich leicht experimentell nachprüfen, dass dies das Problem behebt.
        
        Zum anderen könnte man die LibXML anweisen durchaus die externe Dokumenttypdefinition für XHTML zu laden, in der vermerkt ist, dass id-Attribute des XHTML-Namensraumes äquivalent zu solchen des XML-Namensraumes sind, die Bibliothek aber dazu bewegen, eine lokale Kopie der DTD zu verwenden, indem man einen entsprechenden Eintrag in einen der aktiven XML-Kataloge einfügt. Unter debianartigen Linuxdistributionen geht das zum Beispiel ganz einfach systemweit durch Installation eines Paketes mit dem Namen w3c-dtd-xhtml, das die passenden DTDs enthält und einen Eintrag im systemweiten XML-Katalog hinzufügt. Die nötigen Informationen um die Katalogdateien von Hand zu modifizieren finden sich in der Dokumentation der LibXML.
        When C++ is your hammer, every problem looks like your thumb.
        
        BratHering
        
        2009-12-27 22:35
        
        User since
        2005-04-28
        155 Artikel
        BenutzerIn
        
        Man lernt eben nie aus. Das war mir bisher alles nicht so bewusst, aber nun ist mir so vieles klarer. Vielen Dank für die Aufklärung.
        
        Grüße
- +2 replies
- renee
  
  2009-12-26 10:53
  
  User since
  2003-08-04
  14371 Artikel
  ModeratorIn
  
  Kannst Du mal eine Beispieldatei posten?
  OTRS-Erweiterungen (http://feature-addons.de/)
  Frankfurt Perlmongers (http://frankfurt.pm/)
  --
  
  Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
  Perl-Entwicklung: http://perl-services.de/
  - BratHering
    
    2009-12-26 11:24
    User since
    2005-04-28
    155 Artikel
    BenutzerIn
    
    Hallo,
    
    also das einfache Eingabebeispiel ist diese Seite: http://www.kwasi-ich.de/index.html.de, wobei diese bei mir lokal auf der HDD liegt und ich nicht direkt die URL ansteuere. Der Parameter, den ich an parse_file übergebe ist ein absoluter POSIX-Pfad. Beispiel:
    
    Code: (dl )
    
    /Users/user/htdocs/index.html.de
    
    Danke.
    
    MfG
    Brathering

View all threads created 2009-12-25 23:57.