Performance XML->PDF-Konvertierung (Allgemeines zu Perl)

[thread]14187[/thread]

Performance XML->PDF-Konvertierung

Tags: XML PDF Ähnliche Threads

Leser: 20

Articles: hide open all | hide show old branches

+7 replies
leo11

2009-10-28 10:42

User since
2008-08-14
250 Artikel
BenutzerIn

Hallo,

wir empfangen XML's bis 20MB pro XML aus denen PDF's mit komplexen Strukturen plus Bild entstehen sollen. 1 XML=1PDF.
Das PDF hat außer dem Deckblatt 9 weitere Strukturen an deren Ende Seitenumbrüche kommen sollen. Jede Struktur hat einen anderen Aufbau. Teilweise sollen Strukturen komplett wegfallen, wenn keine Daten kommen.Strukturen loopen oft, müssen also nach unten erweiterbar sein, nach einer Seite umbrechen.. . Außerdem sind Header und Footer notwendig.

Der bisherige standardisierte Weg über XML->MYSQL-DB->XML->Postscript->PDF ist erheblich zu langsam. Besonders wenn man bedenkt, dass die XML's gigabyteweise kommen.

Nun suche ich nach einem Konzept das bspw. 5GB XML's in 5-10Std. umwandelt. Mich würde besonders intressieren, was hier mit Perl möglich ist, möchte aber auch andere Sprachen nicht auschließen, wenn es Sinn macht. Generell möchte ich nichts ausschließen.

VG
leo11
- +2 replies
- pq
  
  2009-10-28 10:48
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  vielleicht solltest du erstmal schreiben, wie die umwandlung momentan funktioniert.
  per xslt? und warum der umweg über mysql?
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - leo11
    
    2009-10-28 10:56
    
    User since
    2008-08-14
    250 Artikel
    BenutzerIn
    
    2009-10-28T09:48:52 pq
    vielleicht solltest du erstmal schreiben, wie die umwandlung momentan funktioniert.
    
    Die XML-Infos werden nach den Regeln der XSD in eine MYSQL-DB geschrieben. Das Auslesen geschieht über definierte Regeln. Im Ergebnis hat man dann eine Datei, mit den Infos angereichert um Formatinfos. Diese werden nach XML umgewandelt von dort nach Postscript ->PDF
    Reicht dir das?
    
    Quote
    per xslt?
    
    Nein
    
    Quote
    und warum der umweg über mysql?
    
    Weil es standardisierte Schnittstellen sind, die Nutzern ohne Programmierkenntnisse weitaus mehr ermöglichen als eine PDF-Umwandlung
- +4 replies
- moritz
  
  2009-10-28 11:19
  
  User since
  2007-05-11
  923 Artikel
  HausmeisterIn
  
  Irgendwie gibst du uns viel zu wenig Informationen um dir vernuenftig helfen zu koennen.
  
  Welche der Schritte dauern denn wie lange? Willst du den kompletten Prozess ersetzen, oder einzelne Schritte? Was genau passiert in welchem Schritt?
  
  Ich finde auch ehrlich gesagt deine Antwort auf die Frage, warum ihr den Mysql-Zwischenschritt braucht, nicht gerade erhellend.
  Perl 6 - Perls Zukunft
  - +3 replies
  - leo11
    
    2009-10-28 11:30
    
    User since
    2008-08-14
    250 Artikel
    BenutzerIn
    
    2009-10-28T10:19:41 moritz
    Willst du den kompletten Prozess ersetzen, oder einzelne Schritte?
    
    Wie gesagt. ich möchte alles offen lassen. Viellecht läßt sich das XML direkt nach Empfang schneller direkt per XSLT transferieren, oder direkt über PDF-Schablonen oder aus der DB mit PDF-Schablonen..?
    
    Vielleicht ist es einfacher, wenn wir den bisherigen Ansatz außen vor lassen?
    - +2 replies
    - nepos
      
      2009-10-28 17:48
      
      User since
      2005-08-17
      1420 Artikel
      BenutzerIn
      
      Da kann man kaum was zu sagen, was hier besser ist. Der Schritt über die Mysql und dann wieder nach XML sieht irgendwie schon mal etwas überflüssig aus.
      Du sagst aber auch nur, dass das ganze zu langsam ist. Wenn mans optimieren soll, wäre hilfreich zu wissen, wo die meiste Zeit verbraucht wird.
      Frisst der Import in die Datenbank schon recht viel? Wie genau wirds in die DB importiert? Kann man am Import selbst oder an der DB vielleicht schon mal was optimieren?
      Wie siehts mit den anderen Schritten aus? Wie lang brauchen die im einzelnen so typischer Weise?
      - leo11
        
        2009-10-28 21:20
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        Hatte eigentlich auf eine paar allgemeine Erfahrungswerte gehofft, aber nun gut. Werde mir die dann selbst aneignen.
        
        Viele Grüße
        leo11

View all threads created 2009-10-28 10:42.