Das kann man doch über $File::Find::dir machen. Einfach ein als !-r identifiziertes dir in ein Verboten-Array push'en und bei jedem Durchlauf dieses grep'en und schauen, ob ein Teil des Pfades ein verbotenes dir ist. Damit sind alle Unterverzeichnisse von verbotenen Verzeichnissen ausgenommen.
Oder meinst du was anderes?

Wobei ich das Problem nicht sehe, denn wenn in den Unterdirs auch keine Berechtigung besteht, schlägt doch !-r auch wieder zu?