hbtronix.spider

Da mir in den letzten Tagen ein Spider Names hbtronix.spider.2 aufgefallen ist welcher zwar eine Webseite mit angibt aber auf dieser lässt sich nur flogendes lesen:

Please be assured that we do not use our spider to harvest e-mail addresses or steal content. hbtronix.spider is also set to download only a limited number of sites per host name to avoid problems with your server. If you still want to prevent hbtronix.spider from accessing your site, use a robots.txt entry like this:

User-agent: hbtronix.spider
Disallow: /

If there are any problems or questions, contact (e-mail address).

Toll, wie ich etwas via robots.txt “ausperre” mit der Hoffnung das sich dran gehalten wird *lach* weiss ich auch.
Vielmehr würde mich aber interessieren was dieser Spider macht, bzw. wofür.
Ergo mal die angegebene eMailadresse mal schnell angeschrieben:

Sehr geehrte Damen und Herren,
würden Sie mir bitte freundlicherweise Informationen zukommen lassen wozu ihr Spider dient?
Sie veröffentlichen ja lediglich wie man den Spider via robots.txt steuern könnte, leider jedoch nicht wozu dieser dient, bzw. was HBTronix ist.

Und eben kam die Antwort:

Hallo,

der Spider erstellt eine Datenbank der Domainnamen, die auf Internetseiten verlinkt werden.

Juchu… nun bin ich um einiges schlauer….

Naja, ich nehme mir das Recht herraus den Spider zu sperren iptables -A INPUT .... und eine Anpassung in fail2ban, für alle Fälle, sind in diesem Fall mein Freund.
Schönen Tag noch




Trackback-Url Trackback

4 Kommentare für “hbtronix.spider”

  1. www.gravatar.com
  2. www.gravatar.com
  3. www.gravatar.com
  4. www.gravatar.com
blog stats