Deine Domain ist gespidert worden!!!

Da ich derzeit mal wieder ein “paar Lastprobleme” habe beobachte ich das Accesslog von discobeats.de

Nicht schlecht gestaunt habe ich bei diesem hier:

Spider

Und auf der Spider-Info steht:

Unser Spider ist höflich, d.h. er verursacht keine übermäßige Serverlast und respektiert den robots.txt-Standard. Er hört dabei auf den Namen “domaindateispider”.

Seltsam, wieso geht er dann an die Tags wenn der doch auf die robots.txt hört? Meine sieht derzeit so aus:

User-agent: *
Disallow: */tag/
Disallow: */testblog/
Disallow: */wp-content
Disallow: */downloads/
Disallow: */feed*
Disallow: */wp-admin
Disallow: */trackback
Disallow: */wp-includes
Disallow: *wp-login-php
Disallow: /tag/

User-Agent: HenryTheMiragoRobot
Disallow: /

User-agent: Googlebot-Image
Disallow: /

Ergo “dürfte” er auch garnicht an die Tags.
Naja, nun bekommt die robots.txt ne Zeile mehr.

By the way, auf der gesamten Seite vom Spider finde ich keinerlei Betreiberinfos (Impressum)




Trackback-Url Trackback

Comments are closed.

blog stats