Programm beschleunigen (Allgemeines zu Perl)

[thread]17434[/thread]

Programm beschleunigen

Tags: perl5 Ähnliche Threads

Leser: 28

Articles: hide open all | hide show old branches

Teilbaum:
Fragen zur Parallelisierung (5 Artikel) 2012-05-24 13:13

+22 replies
Gast steve123

2012-05-21 21:01
Hallo Forum,

anbei mein Code:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38

#!/usr/bin/perl use strict; use warnings; my $gsc = 'c:\Program Files\gs\gs9.05\bin\gswin64c.exe'; my $dpi = '150'; my $txt = '4'; my $bld = '4'; GO(); sub GO { my @psfiles = (); my $ein = "C:\\Lokale Daten\\vbv tiffs\\Work\\Spool\\"; my $aus = "C:\\Lokale Daten\\vbv tiffs\\Work\\Tiff\\"; unless (opendir(QV,$ein)) {return;} while (defined (my $Eintrag = readdir(QV))) { next if($Eintrag eq "." or $Eintrag eq ".." or -d $Eintrag); if($Eintrag =~ /\.ps$/) { push(@psfiles,$Eintrag); } } (my $ein_win = $ein) =~ tr/\//\\/; (my $aus_win = $aus) =~ tr/\//\\/; my $count = 0; my $anzhl = @psfiles; foreach (sort @psfiles){ my $dateinew = $_; $dateinew =~ s/\.ps//i; system ('"'.$gsc.'" -q -dSAFER -dNOPAUSE -dBATCH -sDEVICE=tiffg4 -r'.$dpi.' -dTextAlphaBits='.$txt.' -dGraphicsAlphaBits='.$bld.' -sOutputFile='."\"$aus_win\\$dateinew.tif\" -f \"$ein_win\\$_\"\n"); } }
Das Problem ist der externe Programmaufruf mit "system ('"'.$gsc...)...
Jedesmal wird das gswin64c neu aufgerufen.
Wie kann man das besser machen?

Danke schon mal.
Last edited: 2012-05-21 21:07:50 +0200 (CEST)
- +19 replies
- topeg
  
  2012-05-21 22:41
  
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  
  Du kannst mehrere Konvertierungsprozesse parallel starten. Das kann den Prozesse stark beschleunigen, besonders wenn man einen Mehrkern Prozessor hat.
  
  ungetestet:
  more (16.0kb)
  Last edited: 2012-05-21 22:45:56 +0200 (CEST)
  - +18 replies
  - Gast steve
    
    2012-05-22 11:42
    
    Super, läuft sehr schnell, nur warum bleibt das Skript einfach stehen bei einer gewissen Anzahl?
    Last edited: 2012-05-22 12:04:32 +0200 (CEST)
    - +17 replies
    - topeg
      
      2012-05-22 12:39
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Es laufen immer 10 Kindprozesse. Sind nun 100 Dateien zu konvertieren, werden 10 davon gleichzeitig konvertiert. Wenn weniger als 10 Kindprozesse laufen, werden solange neue gestartet bis es wieder 10 sind, oder keine Konvertierungen mehr in der Warteschlange sind. Wenn alle 100 Dateien konvertiert sind beendet sich das Script.
      
      In @waiting stehen die Kommandozeilen, die noch auf eine Ausführung waren. In %running stehen die Prozess IDs der laufenden Kindprozesse. Wenn beides Leer ist ist nichts mehr zu machen und das Script beendet sich.
      select(undef,undef,undef,0.10)legt einen 0.1 sekündigen Wartezyklus ein.
      
      Versuche zu verstehen wie das Script funktioniert. Wenn du etwas nicht verstehst dann frage nach. Ich habe das Script nicht getestet und es können noch Fehler enthalten sein.
      - +16 replies
      - Gast steve123
        
        2012-05-22 13:20
        
        Ich hab 1300 Dateien, aber egal was ich eingebe, also zB 10 Kindprozesse bei 10 Dateien, bleibt er dann stehen. Gebe ich bei 1300 Dateien 10 Kindprozesse ein, bleibt das Skript auch stehen...
        
        +15 replies
        
        Gast steve123
        
        2012-05-22 13:29
        
        max. macht er 64 Dateien...
        Last edited: 2012-05-22 13:37:12 +0200 (CEST)
        
        +14 replies
        
        topeg
        
        2012-05-22 13:54
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Guest steve123
        aber egal was ich eingebe
        Was gibst du wo und wann ein?
        
        Guest steve123
        max. macht er 64 Dateien
        Ich habe keine Ahnung was du meinst.
        
        Was bitte meinst du mit "bleibt stehen"
        Hängt er im letzten Loop? Sind noch Kommandos in der Warteschleife? Laufen noch Kindprozesse? Was steht in den Variablen? Was hast du gemacht um herauszufinden wann das Script "stehen bleibt"?
        
        Ich weiß bisher nur das nicht alle Dateien konvertiert werden. Ich habe aber keine Ahnung warum nicht. Ich sitze nicht an deinem Computer.
        
        Gib mal etwas mehr Informationen.
        
        +13 replies
        
        Gast steve123
        
        2012-05-22 14:00
        
        Sorry für meine schlechte Erklärung.
        
        Folgendes Problem:
        Ich habe 140.000 TIFFS - wenn ich das Skript so starte wie von dir
        gepostet, macht das Skript die ersten 10 Tiffs (super schnell), aber
        dann leider nichts mehr. Dann hängt das Skript und es passiert nichts mehr.
        Last edited: 2012-05-22 14:06:37 +0200 (CEST)
        
        +11 replies
        
        topeg
        
        2012-05-22 15:10
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Wie lange läuft den das Konvertierungsprogramm? Es laufen immer 10 Programme gleichzeitig. Wenn jedes eine Minute braucht dann sind das immer noch 14.000 Minuten was das Script läuft.
        
        Hast du mal im Prozessmanager geschaut wie groß die Auslastung deines System ist?
        
        Du kannst ja Testausgaben in das Script setzen um zu schauen was passiert.
        
        Ich bin recht überzeugt davon, das das Script nicht "hängt" sondern auf das beenden der Kindprozesse wartet. Und du hast mir bisher nicht gesagt das es anders ist.
        
        Das Konvertierungsprogramm kann ich nicht beschleunigen.
        
        Hier das Script mit Debugmeldungen:
        more (18.8kb)
        Ich weiß nicht warum ich dir das machen muss.
        
        +10 replies
        
        Gast steve123
        
        2012-05-22 16:55
        
        Hallo nochmal,
        
        vielen Dank für deine Mühe!
        
        Das Script schreibt die ersten 10 Dateien sofort raus, dann allerdings
        tut sich, jetzt getestet, eine volle Stunde nichts.
        
        Speicher ist kein Problem - 6 GB RAM.
        
        Code: (dl )
        
        print "WATITING FOR EXEC: ".@waiting."\n" ;
        
        hier bleibt er "stehen".
        
        hier
        Last edited: 2012-05-22 17:11:48 +0200 (CEST)
        
        +9 replies
        
        topeg
        
        2012-05-22 18:56
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Um zu testen ob das funktioniert habe ich das Script zu einem Demo umgeschrieben:
        
        more (18.5kb)
        
        Im selben Verzeichnis:
        wait.pl:
        
        Code (perl): (dl )
        
        1 2
        
        #!/usr/bin/perl sleep(rand(shift(@ARGV) // 10));
        
        Die Ausgabe im Wareloop läuft über die Zeit und mit kill(0,$pid) teste ich noch zusätzlich ob die Prozesse laufen.
        
        Das Script funktioniert. Es ist also kein Fehler vom Script. Vielmehr vermute ich das die Konvertierung so lange dauert.
        
        Die Änderungen an das richtige Script angewendet:
        more (22.2kb)
        
        Und die beiden Stellen habe ich noch geändert:
        
        Code (perl): (dl )
        
        1 2
        
        push(@c,'-sOutputFile='.$outfile); push(@c,'-f', $infile);
        
        Da keine Shell-Interpretation statt findet braucht man das quoten auch nicht.
        
        GwenDragon
        
        2012-05-22 19:22
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Ich glaube auch, dass die Konvertierung dauert. Ghostview ist als Postscript-Interpreter ziemlich lahme Software.
        Da der TE jedoch nicht gesagt hat wie groß seine TIFFs wirklich sind, können wird nur raten was so lang dauert.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        Gast steve123
        
        2012-05-23 14:59
        
        super - danke dir!
        Last edited: 2012-05-23 15:01:46 +0200 (CEST)
        
        Lebewesen
        
        2012-05-23 17:19
        
        Subtree with 6 replies: Fragen zur Parallelisierung
        
        User since
        2011-09-09
        62 Artikel
        BenutzerIn
        
        Wie kann ich eigentlich paralellisieren, wenn ich Unterprogramme aufrufen?
        
        Meine Aufrufstruktur sieht so aus (Die Dateien liegen auf einem Netzlaufwerk):
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
        
        my @datenArray=(); my $anzahl=@Dateien; $anzahl = $anzahl-1; for (my $i = 0; $i <= $anzahl; $i++) { my $DateiName = $Dateien[$i]; my ($daten, @Daten); #Wenn die Datei nicht geöffnet werden konnte mit der nächsten fortsetzen. die $! unless open DATEI, $DateiName; { local $/ = undef; $daten = <DATEI>; } close DATEI; #60 Dateien in den Arbeitsspeicher einlesen und dann verarbeiten if (($i%60==0&&$i>0)||$i==$anzahl){ #Daten aus Array holen und Eintrag löschen say "Modulo 60 oder alle Dateien" if $Debug; while (my $Aktuelle_daten = shift(@datenArray)){ say "Datei: $$Aktuelle_daten[1]" if $Debug; my $R = &Umwandeln($$Aktuelle_daten[0],$DatAnz,$$Aktuelle_daten[1]); InDateiSchreiben($R); } #Array sicherheitsalber löschen - sollte aber leer sein! @datenArray=(); }else{ push (@datenArray, [$daten,$DateiName]); #Daten in Array schieben } }
        
        modedit Editiert von pq: teilbaum
        Last edited: 2012-05-24 11:06:53 +0200 (CEST)
        
        GwenDragon
        
        2012-05-22 15:11
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Schon mal geschaut, ob noch genug Speicher (RAM,, Auslagerungsdatei) frei ist?
        ich bin sicher, dass die TIFFs bei der Ausgabe über den Postscript-Interpreter Speicher benötigen.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +2 replies
- Gast Ronnie als Gast
  
  2012-05-23 20:55
  
  Spricht irgendwas gegen find und xargs? Okay, Windows - aber es gibt ja doch Cygwin oder MobaXTerm.
  Last edited: 2012-05-23 21:08:30 +0200 (CEST)
  - murphy
    
    2012-05-23 21:19
    User since
    2004-07-19
    1776 Artikel
    HausmeisterIn
    
    In der Tat könnte man sich hier eventuell mit
    
    Code: (dl )
    
    find ... -print0 | xargs -0 --max-args=1 --max-procs=N ...
    
    behelfen, wobei N die Anzahl parallel auszuführender Prozesse ist. Allerdings beherrscht xargs nur den Zusammenbau relativ einfacher Argumentlisten für den externen Prozess.
    When C++ is your hammer, every problem looks like your thumb.

View all threads created 2012-05-21 21:01.