Hallo.

Mit Threads wird das afaik nicht funktionieren, denn Threads laufen nicht weiter, wenn der Prozess beendet wurde.

Du könntest den Crawler in ein eigenes Programm tun, welches sich "dämonisiert" (siehe zum Beispiel Prozesssteuerung: nicht auf Kindprozesse warten).

Das Stoppen des Crawlers könnte man am einfachsten über eine Steuerdatei machen. Er würde regelmäßig überprüfen, ob die Datei existiert, und wenn sie es tut, beendet er sich (und loescht die Datei am besten gleich).

Welches Betriebssystem liegt vor und wie viel Zugriff hast Du darauf? Eventuell würde es sich auch anbieten, den ganzen Kram in einen Cronjob oder einen eigenen Service zu tun.