Opened by kristian at 2010-03-11 16:50
User since
2005-04-14
684 Artikel
BenutzerIn
![[Homepage]](/battie/theme/default/homepage.gif)
![[default_avatar]](/battie/theme/default/default_avatar.gif)
2005-04-14
684 Artikel
BenutzerIn
Hallo,
ich erdreiste mich mal einen Vorschlag zu unterbreiten:
einem Bot verbleibt zwar nur noch "/" "/Perldoc" und "/Wissensbasis" aber da dort die relevanen Infos drinn sind sollte das auch reichen.
hth & Gruß
Kristian
Sorry, muß schon erweitern.
/Perldoc/WebCreateNewTopic
braucht wohl auch kein Bot.
/Wissensbasis/WebRss
ist fraglich, es gibt Bots die fressen das gerne und da macht es auch Sinn
Last edited: 2010-03-12 18:07:44 +0100 (CET)
ich erdreiste mich mal einen Vorschlag zu unterbreiten:
Code: (dl
)
1
2
3
4
5
6
7
8
9
# robots.txt for wiki.perl-community.de
# created 12.03.2010
User-agent: *
Disallow: /foswiki
Disallow: /System
Disallow: /Main
Disallow: /Community
Disallow: /Perldoc/WebCreateNewTopic
Crawl-Delay: 10
einem Bot verbleibt zwar nur noch "/" "/Perldoc" und "/Wissensbasis" aber da dort die relevanen Infos drinn sind sollte das auch reichen.
hth & Gruß
Kristian
Sorry, muß schon erweitern.
/Perldoc/WebCreateNewTopic
braucht wohl auch kein Bot.
/Wissensbasis/WebRss
ist fraglich, es gibt Bots die fressen das gerne und da macht es auch Sinn
Last edited: 2010-03-12 18:07:44 +0100 (CET)