Du kannst nicht herausfinden, warum es den Serverfehler gab?

CGI-Skripte haben auf den meisten Servern eine maximale Laufzeit. Danach killt der Server das Skript.
Das kannst du leider nicht ändern; bei den meisten Anbieter bleibt das auch so.

Das Onlinedurchsuchen von Seiten nach deiner Methode wird wohl so bei größeren Websites und längeren Webseiten nicht gerade schnell, wenn überhaupt gehen.
Wenn der Server viele verscheiden Websites hostet und Anfragen zu bedienen hat, kostet das Resourcen und dann langt es vielleicht nicht mehr für deine Seite.