Spider und Bots identifizieren

[FrankW]

Hallo,
aus aktuellem Anlass noch mal 2-3 Worte zu Bots und Spidern.
Die Crawlertrap hält schon recht viel ab und wer mal etwas stärker in Google vertreten und verlinkt ist, wird das sicherlich auch täglich aufs Neue feststellen, aber sie ist in der Automatik darauf ausgelegt "böse" Bots zu fangen, die sich eben nicht an die Regeln halten.

Es gibt aber auch zahlreichen Mist, der sich an die Regeln hält und demnach nicht automatisch blockiert wird.

Die letzten Tage viel hier der Inktomi Bot auf.
Der IP Bereich liegt um die 74.6.x.x und sollte jedem in den Logs oder Klickauswertungen aufgefallen sein.
Mit dem Link zur Whois kann natürlich auch jede andere IP überprüft werden und die sagt ja meist schon etwas über die Qualität eines besuchers oder Bots aus.

Wenn er gar nicht auffiel, solltet ihr evtl. darüber nachdenken alls einen Tick mehr zu beobachten, denn ihr habt versäumt euch zu wundern, warum evtl. Klickzahlen und Traffig grundlos angestiegen sind und das ist pauschal gesagt erst mal ungünstig.

Ein wenig sollte man immer ein Auge drauf haben, wenn etwas ungewöhnliches passiert.

Gruß
Frank

[ReinerH]

Hallo Frank
Ich hab mir mal die Clickauswertung bei affiinet angeschaut. Du hast recht, ich hatte einen massiven Klickanstieg über mehere Tage bis zu 4000 am Tag, und die IP-Adresse lag im Bereich um die 74.6.x.x

Womöglich bin ich auch daher bei eBay gesperrt worden.

Was kann man hier tun?

[FrankW]

In dem Fall gehe ich sogar davon aus und man munkelt, dass das auch in deinen Messages in deinem affilinet Account stehen müsste.

Schreibe brav an ebay mit Kopie an affilinet, dass du die ebay XML Daten nutzt und von Inktomi "überfallen" wurdest.
Inktomi solltst du dann allerdings in der robots auch sperren, was du ja auch schreiben kannst. Ich denke eh der bringt nur Traffic, aber bei mir ist das egal.

Hm, ich hätte Seelsorger werden sollen und oder ich will endlich einen Beratervertrag bei affilinet

Gruß
Frank

[ReinerH]

Hallo Frank, hallo zusammen
Ich brauch da noch mals deine oder eure Hilfe
Wie genau, oder was mus ich in der "robots" schreiben um Inktomi komplett zu verbannen?

[FrankW]

Hallo,
erst mal solltest do in der robots.txt die auskommentierte Zeile für den Ordner /no-index aktiv schalten, dazu einfach die Raute davor entfernen (#)

Um den Inktomi Bot komplett zu sperren bietet es sich an die jeweiligen IPs oder Bereich komplett in der Crawlertrap (Adminbereich) zu sperren.

Gruß
Frank