Lebensdauer Thread > Elternprozess? (Perl/CGI)

[thread]14371[/thread]

Lebensdauer Thread > Elternprozess?

Leser: 18

Articles: hide open all | hide show old branches

+7 replies
weltwusel

2009-12-12 23:42

User since
2009-12-12
2 Artikel
BenutzerIn

Hallo liebe Perl-Gemeinde,

ich habe mich jetzt extra bei euch angemeldet, weil ich grad einen Denkanstoß brauche.

Folgendes Problem: Ich will einen Crawler fürs Web programmieren und die Steuerung via (CGI)Webseite regeln. Jetzt hatte ich mir das so gedacht, dass ich via Webseite den Crawler starte und dieser dann erst wieder stoppt, wenn a) eine bestimmte Zeit verstrichen (z.B. 8h) oder b) ein Stop-Button auf der Webseite betätigt wird. Und damit sind wir auch schon bei meinem Problem. Ich muss also einen Thread starten, der noch über die Lebensdauer (einige Stunden) des Mutterprozesses (CGI-Webseite) hinaus arbeiten soll und später sollte ja via Button derselbe (!) Prozess wieder "geholt" werden können um ihn zu beenden.

Ich habe mich jetzt schon etwas mit threads in Perl beschäftigt, aber sobald ich ein entsprechendes Experiment starte, bekomme ich die Perl-Warnung, dass das Hauptprogramm beendet wurde aber 1 Thread noch nicht abgearbeitet wurde:

Quote
Perl exited with active threads:
1 running and unjoined
0 finished and unjoined
0 running and detached

Mit welchem Ansatz also könnte ich das Problem lösen?

Ein alternativer Ansatz wäre noch, dass ich eine "Endlosschleife" starte und diese nur beende, sofern eine Datei existiert. Die Datei könnte man dann via WebFrontEnd erzeugen bzw löschen? Das ist aber für mich nicht wirklich eine saubere, akzeptable Lösung. Any ideas?

Danke schonmal vorab :-),
Thomas
- betterworld
  
  2009-12-13 00:11
  
  User since
  2003-08-21
  2614 Artikel
  ModeratorIn
  
  Hallo.
  
  Mit Threads wird das afaik nicht funktionieren, denn Threads laufen nicht weiter, wenn der Prozess beendet wurde.
  
  Du könntest den Crawler in ein eigenes Programm tun, welches sich "dämonisiert" (siehe zum Beispiel Prozesssteuerung: nicht auf Kindprozesse warten).
  
  Das Stoppen des Crawlers könnte man am einfachsten über eine Steuerdatei machen. Er würde regelmäßig überprüfen, ob die Datei existiert, und wenn sie es tut, beendet er sich (und loescht die Datei am besten gleich).
  
  Welches Betriebssystem liegt vor und wie viel Zugriff hast Du darauf? Eventuell würde es sich auch anbieten, den ganzen Kram in einen Cronjob oder einen eigenen Service zu tun.
  Lieblingsmodule: IPC::System::Simple, Path::Class
- +5 replies
- bianca
  
  2009-12-13 09:43
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  2009-12-12T22:42:49 weltwusel
  Folgendes Problem: Ich will einen Crawler fürs Web programmieren und die Steuerung via (CGI)Webseite regeln.
  
  Ich hab hier auch diverse Hintergrundjobs, die ich auch per Webseite steuere. Folgendes Konzept liegt dahinter:
  
  1. Grundsätzlich werden Jobs per CRON gestartet. Aufruf z.B. "/pfad/cgi-bin/meinscript.pl CRON".
  2. Mein Script unterscheidet zwei Aufrufvarianten gleich ziemlich am Anfang. Web und CRON wie folgt:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
  
  if (defined @ARGV) { # CRON Ausführung my $pid; if ($pid = fork()) { # Vater killen, wird nicht gebraucht bei CRON exit (); } else { # Sohn require "/pfad_zum_modul/cron.pl"; &cron_ausfuehren_shell(\%env); exit (); } # /CRON Ausführung }
  
  3. Darüberhinaus kann ich jeden Job auch über Webseite starten, dafür mach ich nach Betätigung des Startbuttons diesen hier:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13
  
  if ($aufruf eq 'cronstart') { # CRON Ausführung my $pid; if ($pid = fork()) { # Vater jetzt leben lassen, Webseite ausgeben } else { # Sohn &cron_ausfuehren_shell(\%env,'SOFORT'); exit (); } # /CRON Ausführung }
  
  Das 'SOFORT' hinten sagt der sub nur, ob auf den nächsten Ausführungstermin geachtet werden muss oder nicht.
  4. Sämtliche Steuerinformationen (letzte Ausführung, nächste, darf oder darf nicht etc.) hab ich in einer Steuerdatei liegen.
  5. Die eigentlichen Jobs liegen in der sub cron_ausfuehren_shell().
  
  So kann ich mit einem einzigen Script alles steuern und dieses sowohl für Starts aus dem Web als auch über CRON verwenden. Natürlich liegt das Script in einer Umgebung mit Username und Paßwort Absicherung.
  Und es erfüllt exakt Deine Anforderung. Crawler läuft im Hintergrund weiter, Steuerseite im Web erscheint und alles wurde per Button über CGI gestartet.
  
  Das Stoppen würde ich machen, wie betterworld geschrieben hat.
  
  Edit: Tabs entfernt
  Last edited: 2009-12-13 09:50:12 +0100 (CET)
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - topeg
    
    2009-12-13 10:25
    
    User since
    2006-07-10
    2611 Artikel
    BenutzerIn
    
    Man sollte auch irgendwo die Prozessid hinterlegen, damit andere Programme testen können, ob das Script schon läuft. So sollte auch, wenn nicht mehrere Prozesse dieses Scripts laufen sollen, das Script selber überprüfen ob es schon läuft.
    - bianca
      
      2009-12-13 10:35
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      2009-12-13T09:25:06 topeg
      Man sollte auch irgendwo die Prozessid hinterlegen, damit andere Programme testen können, ob das Script schon läuft. So sollte auch, wenn nicht mehrere Prozesse dieses Scripts laufen sollen, das Script selber überprüfen ob es schon läuft.
      
      Richtig, das sollte man nicht vergessen sonst starte man womöglich immer mehr und mehr Prozesse. Hab ich bei meiner Lösung alles in der zentralen Steuerdatei.
      10 print "Hallo"
      20 goto 10
  - +2 replies
  - weltwusel
    
    2009-12-13 11:06
    
    User since
    2009-12-12
    2 Artikel
    BenutzerIn
    
    Hi betterworld & bianca,
    
    danke für die Antworten. Das ist genau das was ich suche, habt mir damit sehr geholfen :-).
    
    Thanks,
    Thomas
    - bianca
      
      2009-12-13 11:12
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      2009-12-13T10:06:41 weltwusel
      danke für die Antworten. Das ist genau das was ich suche, habt mir damit sehr geholfen :-).
      
      Freut mich.
      Bei Fragen dazu einfach nochmal hier posten. Dann am besten den bis dahin fertigen Code gleich dazu.
      10 print "Hallo"
      20 goto 10

View all threads created 2009-12-12 23:42.