Du kommst hier nit rein…

Manchmal staunt man nicht schlecht, wenn man Morgens in seine Statistiken schaut und dann äusserst merkwürdige Zahlen sieht.
Wie gerade eben z.B. ein Besucher / Hits – Verhältniss von 1 zu 16 und discobeats.de schon 600 mal als Referer. DAS ist merkwürdig!

Ein kurzer Blick in die Logs zeigte mir dann eine IP-Adresse welche konsequent mein Blog indiziert, ein Bot Namens heritrix/1.12.1 gehörend zu page-store.com:

Internet wholesaler
Vertical search sites are relatively costly to operate. A single vertical search engine may need to sweep all or a large part of the web selecting the pages pertinent to a small set of topics. Startup and operating costs are proportional to the input page set size, but revenue may be only proportional to the size of the selected subset.

Page-store positions itself as a web wholesaler, supplying page and link information to vertical search engine companies on a per-use basis. The effect is to level the playing field between vertical search and general horizontal internet search.

Page-store can provide

* selected page feeds based on deep web crawls
* page metadata
* black-box filters
* anchor text results
* link information

Please contact us at

Wenn ich das richtig Interpretiere indizieren die und verkaufen.

Laut domaintools gehört die IP zu Amazon und laut utrace wohnt der Bot in Seattle (Grunge ftw!).
Da der Bot sich jedoch nicht einmal die robots.txt angeschaut hat war ich so frei und habe eine neue IPtables-Regel angelegt und diese IP ausgesperrt.
Ich steh da einfach nicht drauf.




Trackback-Url Trackback

Comments are closed.

blog stats