Wie kann man eine Batch mit Hilfe von system() parallel aufrufen?? (Allgemeines zu Perl)

[thread]16750[/thread]

Wie kann man eine Batch mit Hilfe von system() parallel aufrufen??

Tags: perl5 Ähnliche Threads

Leser: 24

Articles: hide open all | hide show old branches

+10 replies

crojay

2011-09-23 15:16

User since
2011-03-08
81 Artikel
BenutzerIn
[default_avatar]

Hallo,

ich benutze Ghostscript um aus einem Postscript ein PDF zu erstellen. Nun habe ich sehr viele PS Dateien und auch genügend CPU's aber mein Skript arbeitet eine PS-DAtei nach der anderen ab. Das würde ich gerne Parallel ablaufen lassen, jedoch weiss ich zu einen nicht ob und wie das gehen könnte.

Angenommen ich habe 5000 Ps-Dateien in einem Verzeichnis und 6 CPU's zur Verfügugung, wie kann ich es schaffen bis zu 6 Konvertierungen parallel zu starten???

Kann mir jemand weiterhelfen?

Danke

Sven_123

2011-09-23 15:34

User since
2010-06-01
120 Artikel
BenutzerIn

Da grad niemand da ist:
Mit fork kann man neue Prozesse erschaffen. Lies dir z.B. das hier mal durch:
http://wiki.perl-community.de/Wissensbasis/Allgeme...

Wenn du genaue Erklärungen brauchst, musst du allerdings auf Leute warten, die sich besser auskennen, ich hab da nur ein bisschen Halbwissen...
+8 replies

moritz

2011-09-23 15:43

User since
2007-05-11
923 Artikel
HausmeisterIn

Parallel::ForkManager hilft.

Unter Linux kannst du auch die -P Option von xargs auf der Kommandozeile benutzen:

Code: (dl )

ls *.ps | xargs -P 6 -n 1  ps2pdf

Perl 6 - Perls Zukunft

+7 replies

crojay

2011-09-23 17:42

User since
2011-03-08
81 Artikel
BenutzerIn
[default_avatar]

HAllo,

danke erstmal für den Tipp.

Ich habe mich nun für den FOrkManager entschieden und bekomme es noch nicht so zum laufen. ALso was mein Skript machen sollte ist.

1. Die Postscript Dateien ermitteln
2. Einen Ghostscript Command Line Befehl zusammen bauen pro Ps-Datei
3. Nun sollten die aus 2. ermittelten Calls Parallel aufgerufen werden.

Leider geht mein PC beim Aufruf meines Scripts in die Knie und Padre meldet ein Out of Memory. Ich habe aber das ganze nur mit 10 PS Dateien versucht und die werden auch auch nicht erstellt.

Wo liegt denn mein (Denk) Fehler??

Code (perl): (dl )

use LWP::Simple;
use Parallel::ForkManager;
use File::Basename;
use strict;

my @gswinCommand = qw(-q -dSAFER -dNOPAUSE -dBATCH -sDEVICE=pdfwrite);#$pdfCompatibility);


my $gsBin = "c:\\Program Files (x86)\\gs\\gs8.70\\bin\\gswin32c.exe";
my $ps_input = "f:\\tmp\\thread_test\\ps";
my $pdf_output = "f:\\tmp\\thread_test\\pdf";


print join(" ",@gswinCommand) ."\n";
if (-e $gsBin){

    print "found ghostview\n";
    my @psFiles = glob("$ps_input\\*.ps");
    
    
    my @systemCall;
    foreach my $psFile (@psFiles){    
        
        my($filename, $directories, $suffix) = fileparse($psFile);     
        my $pdfFileName = $pdf_output ."\\". substr($filename,0,rindex($filename,".")) . ".pdf";
        my $outputcmd = "-sOutputFile=" . $pdfFileName;
        
        my @gswinCall = ($gsBin,@gswinCommand, $outputcmd, $psFile);
        
        #print  "-->" . join(" ",@gswinCall) . "<---\n";
        #print "psFile = $psFile | pdf = $pdfFileName\n";
        #my $result = system(@gswinCall);
        #print "result of last system call was $result\n";
        push @psFiles,@gswinCall
        
    
    }
    my $pm = new Parallel::ForkManager(3); 
    foreach my $convertCall (@systemCall){

        $pm->start and next;
        my $result = system(@{$convertCall});
        print "result of last system call was $result\n";
        $pm->finish; # do the exit in the child process
    }
    $pm->wait_all_children;
    
    print "all processes finished\n";
    
    
    
    
}

+6 replies

crojay

2011-09-23 17:52

User since
2011-03-08
81 Artikel
BenutzerIn
[default_avatar]

Mein Fehler hab das falsche Array verwendet...

So läuft das Skript, auf den ersten Blick auch parallel

Code (perl): (dl )

use LWP::Simple;
use Parallel::ForkManager;
use File::Basename;
use strict;

my @gswinCommand = qw(-q -dSAFER -dNOPAUSE -dBATCH -sDEVICE=pdfwrite);#$pdfCompatibility);


my $gsBin = "c:\\Program Files (x86)\\gs\\gs8.70\\bin\\gswin32c.exe";
my $ps_input = "f:\\tmp\\thread_test\\ps";
my $pdf_output = "f:\\tmp\\thread_test\\pdf";


print join(" ",@gswinCommand) ."\n";
if (-e $gsBin){

    print "found ghostview\n";
    my @psFiles = glob("$ps_input\\*.ps");
    
    
    my @systemCall;
    foreach my $psFile (@psFiles){    
        
        my($filename, $directories, $suffix) = fileparse($psFile);     
        my $pdfFileName = $pdf_output ."\\". substr($filename,0,rindex($filename,".")) . ".pdf";
        my $outputcmd = "-sOutputFile=" . $pdfFileName;
        
        my @gswinCall = ($gsBin,@gswinCommand, $outputcmd, $psFile);
        
        #print  "-->" . join(" ",@gswinCall) . "<---\n";
        #print "psFile = $psFile | pdf = $pdfFileName\n";
        #my $result = system(@gswinCall);
        #print "result of last system call was $result\n";
        
        push @systemCall,\@gswinCall;
        
    
    }
    
    
    foreach my $convertCall(@systemCall){
          print "start-------------------------\n";
          print "---->".join(" ", @{$convertCall}) ."<-----\n";
          print "end-------------------------\n";
    }
    
    
     my $pm = new Parallel::ForkManager(3); 
     foreach my $convertCall (@systemCall){
# 
        $pm->start and next;
        my $result = system(@{$convertCall});
        print "result of last system call was $result\n";
        $pm->finish; # do the exit in the child process
     }
     $pm->wait_all_children;
     
     print "all processes finished\n";
     
    
    
}

+5 replies
Astralkeks

2013-06-14 15:03
User since
2012-07-17
40 Artikel
BenutzerIn
Ist zwar schon ein alter Thread, aber das gleiche Thema:
Ich möchte > 4000 Hosts parallel anpingen. Daher gab ich dem ForkManager eine Chance.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

#!/usr/bin/perl -w use strict; use Parallel::ForkManager; my $hosts2ping = "hosts2ping.txt"; my @addresses = (); open (SRC, "<$hosts2ping"); while (<SRC>) { chomp $_; push (@addresses, $_); } my $pm = new Parallel::ForkManager(10); foreach my $host (@addresses) { $pm->start and next; system("ping -n 1 -4 $host > c:\\tmp\\$host"); $pm->finish; } $pm->wait_all_children;
Ich lese eine Datei mit Hostnamen in ein Array und pinge jeden Eintrag an.
Problem: Ich erhalte den Fehler

The process cannot access the file because it is being used by another process.

in unregelmäßiger Häufigkeit. Je mehr parallele Aktionen, umso häufiger die Meldung. Anfangs bei einer Anzahl von 30 parallelen pings waren es über 40 Fehler, bei 10 parallelen pings immer noch 8 Fehler.
Anzahl der Hosts knapp über 4300.

Ist Windows 2008 R2 mit strawberry perl 5.16.3.
Ich hätte jetzt erwartet, dass sogar Windows ein paar parallele Befehle hinbekommt, oder wo liegt der Fehler? Jemand eine Idee?
- +4 replies
- topeg
  
  2013-06-14 16:56
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  Im allgemeinen ist es nicht sinnvoll mit mehren Prozessen in eine Datei zu schreiben.
  Windows Blockiert so etwas ganz. Andere Betriebssysteme handhaben das ein etwas anders.
  Das die Meldung kommt, lässt mich vermuten das du doppelte Einträge in der "hosts2ping.txt" hast. Dadurch gibt es mehrere Prozesse, die in die selbe Datei schreiben wollen.
  
  Mein Vorschlag wäre es ein Hash zu nutzen um schon angepingte Hosts zu überspringen:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
  
  #!/usr/bin/perl -w use strict; use Parallel::ForkManager; my $hosts2ping = "hosts2ping.txt"; my @addresses = (); # besserer weg zum lesen der Liste: { open(my $fh, '<', $hosts2ping) or die("ERROR open $hosts2ping ($!)\n"); @addresses = <$fh>; # chomp kann auch mit Arrays umgehen chomp @addresses; close($fh); } my $pm = new Parallel::ForkManager(10); my %used; foreach my $host (@addresses) { # wenn der Host schon mal gefunden wurde # weiter zum nächsten next if $used{$host}++; $pm->start and next; system("ping -n 1 -4 $host > c:\\tmp\\$host"); $pm->finish; } $pm->wait_all_children;
  
  Last edited: 2013-06-14 17:00:05 +0200 (CEST)
  - +3 replies
  - Linuxer
    
    2013-06-14 17:07
    User since
    2006-01-27
    3890 Artikel
    HausmeisterIn
    
    Edit: Vergiss es. Man sollte vielleicht erst den ganzen Absatz lesen vorm Antworten ;-)
    
    -- war:
    
    Quote
    Im allgemeinen ist es nicht sinnvoll mit mehren Prozessen in eine Datei zu schreiben.
    
    Den Gedanken hatte ich auch beim Lesen. Aber für jeden Ping wird doch in eigene Host-eigene Datei geschrieben, oder hab ich da was falsch gelesen (konnte mich nicht tiefer damit befassen)?
    
    gekürzt:
    
    Code: (dl )
    
    1 2 3
    
    foreach my $host (@addresses) { system("ping -n 1 -4 $host > c:\\tmp\\$host"); }
    
    Das sollte doch immer eine neue Datei schreiben, oder?
    Last edited: 2013-06-14 17:08:41 +0200 (CEST)
    meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
    Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - +2 replies
    - Astralkeks
      
      2013-06-17 09:11
      
      User since
      2012-07-17
      40 Artikel
      BenutzerIn
      
      Also "eigentlich" ist das so wie von Linuxer beschrieben, jeder Host bekommt eine eigene Datei. Und "eigentlich" sollten die IPs auch eindeutig sein, allerdings leuchet mir die Argumentation von topeg ein. topegs Ansatz würde halt sicherstellen, dass nicht doppelt in eine Datei geschrieben wird.
      Ich teste mal den Hash-Ansatz und zähle dann auch mal die Einträge, um da nen Vergleichswert zu haben. Wird etwas dauern, aber ich melde mich!
      - Astralkeks
        
        2013-06-19 10:37
        
        User since
        2012-07-17
        40 Artikel
        BenutzerIn
        
        Es scheint die Lösung gewesen zu sein. Keine Fehlermeldungen mehr und das Ergebnis sieht plausibel aus.
        Danke!

View all threads created 2011-09-23 15:16.