Das Problem wird eher sein, dass der Apache nicht genügend Prozesse starten kann, um die MP3 auszuliefern, oder das Dateisystem nicht schnell ist. Ist eben eine Frage wie der Anbieter den konfiguriert hat.
Sowas kann auf einem Webspace/Server, den du dir mit anderen Kunden teilst, passieren.