web spider gesucht..: .... (Allgemeines zu Perl)

[thread]5742[/thread]

web spider gesucht..: ....

steinwolf

2003-09-22 18:57

User since
2003-08-04
367 Artikel
BenutzerIn
[default_avatar]

Hi,
ich suche einen einfachen Spider, der eine Website und seine Links nach Inhalten durchsucht..

Im CPAN habe ich nichts dergleichen gefunden. Entwickelt wogar jemand sowas zurzeit??

mfg steinwolf

"Did you know? You can use your old motor oil to fertilize your lawn." - Blinkster - Professionelles EDV Forum

eisbeer

2003-09-22 19:55

User since
2003-08-29
347 Artikel
BenutzerIn

Igitt spider, wofür willsten sowas?

Ansonsten: LWP::Simple

Die meisten PC Probleme befinden sich zwischen Bildschirm und Stuhl...

jan

2003-09-22 20:18

User since
2003-08-04
2536 Artikel
ModeratorIn

LWP::Simple ist da wohl nicht das richtige, ich empfehle eher, wenn überhaupt, CPAN:

LWP::RobotUA.

[E|B]

2003-09-22 23:08

User since
2003-08-08
2561 Artikel
HausmeisterIn

[quote=jan,22.09.2003, 18:18]LWP::Simple ist da wohl nicht das richtige[/quote]
Wieso nicht?

Gruß, Erik!

s))91\&\/\^z->sub{}\(\@new\)=>69\&\/\^z->sub{}\(\@new\)=>124\&\/\^z->sub{}\(\@new\)=>);
$_.=qq~66\&\/\^z->sub{}\(\@new\)=>93~;for(@_=split(/\&\/\^z->sub{}\(\@new\)=>/)){print chr;}

It's not a bug, it's a feature! - [CGI-World.de]

jan

2003-09-23 00:09

User since
2003-08-04
2536 Artikel
ModeratorIn

ach, wegen einiger dinge.
zum beispiel, weil es einem redirect folgt, du den aber nicht so ohne weiteres mitbekommst und dann wieder die relativen links ins leere laufen könnten. weil er dir nicht die notwendige kontrolle gibt, die du brauchst, um einen sinnvollen robot zu machen, als da die verschiedenen http-header wären. zum beispiel "sorry, ist heute nicht, komm mal später wieder". und so weiter und so weiter.

View all threads created 2003-09-22 18:57.