ach, wegen einiger dinge.
zum beispiel, weil es einem redirect folgt, du den aber nicht so ohne weiteres mitbekommst und dann wieder die relativen links ins leere laufen könnten. weil er dir nicht die notwendige kontrolle gibt, die du brauchst, um einen sinnvollen robot zu machen, als da die verschiedenen http-header wären. zum beispiel "sorry, ist heute nicht, komm mal später wieder". und so weiter und so weiter.