Hallo zusammen,
ich überlege schon seit längerem, mir einen eigenen kleinen Server zuzulegen. Und zwar sollen auf dem nur einige Perl-Scripte laufen, die mittels dem Perl-Modul LWP::RobotUA das Netz nach Internet-Seiten durchsuchen. Nicht mehr und nicht weniger. Also sozusagen eine kleine Suchmaschine. Die Programmierung ist hier nicht das Thema.

Das Problem ist, viele Provider haben eine Firewall installiert, so daß man nicht von dem Server runterkommt. Deswegen ein eigener Server.

Die Daten selbst werden auf einen anderen Server gespeichert, ausgewertet und angezeigt.

Da ich Hardwaremäßig nicht gerade der Freak bin, wäre ich für jede verständliche Anregung dankbar.

Gruß

Uli

Soll das ein FTP oder ein ganz normaler HTTP Server sein?

Was meinst du mit 'nicht vom Server runterkommen'?

Was du dazu brauchst: Internetverbindung (Flatrate oder Volumentarif, es sei denn du hast zuviel Geld), Computer, auf dem ein Webserver installiert ist. Am besten wäre wohl Apache.

Wobei du bedenken solltest, daß du bereits für 15 Euro/Monat nen Rootserver bekommst, auf dem du alles selber einrichten kannst (Firewall, usw), was unter Umständen deutlich billiger als eine vergleichbare Verbindung zuhause kommen kann (sofern du dir nicht wirklich große Bandbreiten besorgen willst).

Suchmaschinen sind neben Clustern mein zweitliebstes Thema. :)

Also im grunde empfehle ich dir jeden x beliebigen Rootserver, was teuer werden kann sind allerdings Datenvolumen, also solltest du dir da ein gutes Angebot suchen.
Ausserdem solltest du nicht allzu grosse Höchstleistungen von LWP erwarten, zum crawlen ist LWP denkbar ungeeignet.

also bei netdirekt gibt es nen rootserver für 19,90 eur im monat ohne einrichtungsgebühr und mit 150gb traffic im monat ...

[quote=sri,05.08.2004, 18:32][...]
Ausserdem solltest du nicht allzu grosse Höchstleistungen von LWP erwarten, zum crawlen ist LWP denkbar ungeeignet.[/quote]
wenn man mehrere Prozesse mit LWP gleichzeitig laufen lässt, ist es gar nicht so langsam.\n\n

<!--EDIT|Ishka|1091726613-->

[quote=sri,05.08.2004, 18:32]Clustern[/quote]
sowas schreib ich gerade.

Zu thema: dafür brauchst du keinen Rootserver.
Kannst du auch vom HomePc machen; bzw. ein kleiner PC nebenbei kann auch reichen; er brauch eben nur Internet und große festplatte!

[quote=Ishka,05.08.2004, 19:22][quote=sri,05.08.2004, 18:32][...]
Ausserdem solltest du nicht allzu grosse Höchstleistungen von LWP erwarten, zum crawlen ist LWP denkbar ungeeignet.[/quote]
wenn man mehrere Prozesse mit LWP gleichzeitig laufen lässt, ist es gar nicht so langsam.[/quote]
Aber es geht mit einfacheren Mitteln noch sehr viel schneller.

[quote=esskar,05.08.2004, 20:18][quote=sri,05.08.2004, 18:32]Clustern[/quote]
sowas schreib ich gerade.[/quote]
Was schreibst du gerade?

wir haben nen server, der mails empfängt, ein ticket für die mail anlegt und einen workflow anstößt - ist so der grobe umriss;
die idee des kunden war, ne ipbox vorne dran zu stellen und je nach last, die mails auf versch. mails leitet; das hätte aber probleme gegeben, da die server an sich nichts von wussten und dann die tickets an verschiedenen stellen gelegen hätten; im grunde nicht schlimm, aber der server ist nicht nur mail sondern z.b. auch http server, der die tickets und die zustände der workflows pro user via http bereit stellt.

also nun folgende idee; via A records werden die rechner beim dns auf einen namen gemapped. "round robin" verteilt dann die last. deweiteren gibt es eine virtual ip (vip). einer der Rechner hatte diese vip; jeder der anderen rechner macht nun nen raw_ping auf diese ip um zu sehen um der rechner noch lebt. wenn ja dann ist gut und die tickets + die mails + die user db werden vom rechner, der vip hat, kopiert usw.
wenn ein raw_ping fehl schlägt, fangen die rechner an zu stressen und senden mehrere raw_pings schnell hintereinander. bleiben diese unbeantwortet, versucht sich der rechner die vip zu nehmen und seinem primary network device zuzuweisen. falls dies gelingt, ist er jetzt haupt server und alle anderen pingen ihn. falls eine mail nun an einen server geschickt wird, der die vip nicht hat, schickt dieser diese mail weiter an die vip. das ist so der grobe inhalt.