Die Robots.txt bedeutet nur, dass sie vom Verzeichnis /bin die Finger lassen wollen.

Browser rufen aber die Auskunft auch über .../bin/query.exe/dn?... ab.

Dann gib dich halt als richtiger Browser im UserAgent aus bei LWP.