Schwer zu sagen wo du ein Speicherleck hast oder rekursiv wachsende Datenstrukturen erzeugst.
Ich kann mir vorstellen, dass dein grafische X-System vielleicht Limits hat.

Was zeigt auf deinem System ulimit -a ?