wenn es ein "echtes" cgi script ist, sollte das eigendlich nicht passieren. warscheinlich benutzt du irgend einen cache, so was wie fast-cgi.
für mod_perl gibt's Apache::Reload, ich weiss aber nicht, ob das auch in deinem fall hilft.