Ich nehme mal an, dass das Durchsuchen der ganzen Unterverzeichnisse und die Umwandlung von HTML in Text durch den Parser arg lang dauert und dann ein Timeout geschieht.

Wenn die Inhalte nicht sich ändern (statische Seiten), dann wäre ein vorgenerierter Index sinnvoller.

Wie wäre es mit Perlfect. Perlfect greift auf einen generierten Index zurück und ist daher schneller.