Noch ein Zitat aus perldoc module::build:

Quote

manpages
[version 0.28]

This will generate man pages for any binary or library files under
blib/ that contain POD. The man pages will only be installed if the
install paths can be determined from values in "Config.pm". .....

Demnach könntest du dein Ziel durch eine Änderung von Config.pm erreichen. In dem Zusammenhang ist vielleicht der Abschnitt "Modifying Config.pm values" in perldoc Module::Build::Cookbook von Interesse. Dort steht, wie man Werte aus Config.pm auf der Kommandozeile überschreiben kann (in deinem Fall vielleicht durch Setzen auf undef oder ''). Ein anderer Fund im selben Dokument ist der Abschnitt "Changing the order of the build process". Dort steht als Beispiel
Dort könntest du versuchen, die Pod-Erzeugung ganz aus dem build process herauszunehmen (beträfe dann freilich auch HTML).