Traffig und Ladezeiten durch Spam Bots !!!

[FrankW]

Hallo,

die Ladezeiten sind ja gerade mal wieder heftig in der Diskussion, was ich im Wesentlichen darauf zurückführe, dass aktuell mehr Leute Erfolg haben, endlich mehr gespidert werden und demnach evtl. sogar affilinet öfters mal wieder unter hoher Last steht.

Dabei ist mir nun aufgefallen, dass selbst Seiten ohne jeglichen Umsatz nicht unwesentlichen Traffig und damit Serverlast, volle Cache Ordner und langsame Seiten verursachen !

Ich teste daher gerade 2 Skripte um Spam Bots und fiese Spider auszusperren und siehe da, ich habe in einer Woche locker 100 Bots erwischt, die sich nicht im geringst6en an die robots.txt halten und nichts als Ärger verursachen.
Von Gästebuch- und Formularspamern über komplette Contentdiebe iszt alles davei.

Selbst der eBay Relevance Ads Bot kommt noch vorbei, obwohl KEIN eBay mehr drauf ist und durchsucht auch Bereiche, auf denen nie eBay war oder sein wird (die Fallen eben) !!!

Kurzum, selbst "seriöse" Bots verursachen Traffig und damit für Euch Kosten, lange Ladezeiten und evtl. als Folge Ärger und sinkende Einnahmen.

Ihr solltet also ggf. auch mal schauen, wer wirklich auf euren Seiten ist...

Wer sich meine beiden neuen Freunde mal ansehen will (ich mit den Tests noch nicht 100% glücklich !!!):
http://www.bot-trap.de/blog/
http://www.spider-trap.de/ (Entwicklung scheinbar gestoppt, aber es hilft schon etwas)

Erfahrungsaustausch willkommen !

Gruß
Frank

[StefanB]

Hi,

ok, ich geb´s zu:

Bisher habe ich mich um die Pseudosuchmaschinen mit Ihren Bots -auch aus Zeitgründen- nicht wirklich gekümmert, aber langsam aber sicher wird´s zuviel.

Und wer weiss, wofür man die Dinger sonst noch verantwortlich machen könnte...

Kannst du, oder sonst jemand hier in der Runde, mir sagen welches der beiden Scripte (oder evtl. ein ganz anderes) empfehlenswert ist?

Es wird Zeit etwas gegen die Biester zu unternehmen!

Gruß
Stefan

[FrankW]

Hi,

locker 15 Bots am Tag die in die Falle laufen und 50 die als gesperrter Zugriff geloggt werden.

Die bot-trap ist schon etwas weiter und wird laufend aktualisiert.
Allerdings gibt man die Kontrolle auch vollständig ab und in deren Forum laufen ein paar echt arrogante Fratzen rum, dass ich ein wenig befürchte, die könnten mehr sperren als mir lieb ist, vor allem was das Ausland betrifft (wenn ich zB eine englische oder spanische Seite habe)
Der Besiter selber ist aber wirklich sehr nett und wohl auch sehr fit.

Die spider-trap arbeitet viel einfacher und sperrt einfach, was in die Falle läuft. Das wiederum hat aber auch zur Folge, dass täglich zig DSL IPs gesperrt werden, da die Kids ihre Hobbyspambots eben auch über die Telekom schicken, sprich man kontrolliert täglich.

Ich denke aber, dass sich das alles lohnt !
Meine Testseite hat zB fast nur noch rein deutschsprachiges Publikum, da ich das Ausland (kauft in dem Fall eh kaum in deutschen Shops) mit der Zeit komplett weggesperrt habe.

Also vorsichtig testen !

Vorschläge, wie wir so etwas integrieren können sind herzlich willkommen.

Gruß
Frank

[FrankW]

Hallo,

irgendwie macht sich da kaum einer Gedanken drum, heisst das, dass euch das Thema nicht interessiert und wir uns für euch auch keine Gedanken drum machen müssen ??

Achtung bei der bot-trap, hier werden scheinbar von leichtisinnigen Usern auch dynamische Dialin IPs gesperrt, sprich ein wneig mitdenken muss man schon

Wer sich für das Thema interessiert (meiner Meinung nach jeder !), der möchte sich hier bitte mal outen, damit wir gemeinsam überlegen können, wie wir eine akzeptable Lösung für den Affilinator finden können.

Gruß
Frank

[HannoM]

Heyho,
solche Dienste nutze ich momentan nicht. Wenn ein agressiver Spambot auftaucht pack ich den per Hand in .htaccess.

Vielleicht könnte man ja auch eine Art Sammelthread machen

Btw. habt ihr eigentlich auch Probleme Bots die die Python URL Lib nutzen zu sperren?

[FrankW]

Und woran erkennst du sie ?

Ich fange täglich 5-10 neue, die teilweise aber auch über dynamische IPs kommen.
Die Logs zeigen zusätzlich 10-50, die gestoppt wurden.

Mittlerweile schaue ich gar nicht mehr was das Zeug will, wenn eine IP aus Taiwan in einen Befreich tappt, wo ein Besucher nicht hinkommen sollte, dann wird der ganze IP Bereich gesperrt und es ist wieder Ruhe.

Nur ist das alles noch sehr aufwendig und ich bin mir nicht einig, wie man das hier lösen soll, aber da ja effektiv auch die affilinet Webservices belastet werden und sich dadurch der DC exp. vervielfacht sollte sich eigentlich jeder Gedanken darum machen...

Gruß
Frank

[StefanB]

Hallo,

ich hatte mich ja weiter oben schon geoutet .
Ich habe mir beide Scripte angeschaut und konnte mich mit beiden nicht wirklich anfreunden.
Zur Zeit sperre ich ausgewählte IP´s ebenfalls per .htaccess.

Ein Sammelthread für die "ganz bösen" wäre evtl. schon mal ein Anfang.

Ich könnte mir eine Intergration ähnlich der spider-trap vorstellen, allerdings nicht mit automatischer Sperrung, sondern per manueller Bestätigung.
Sowas in der Art wie: Die folgende IP hat xxxx Seiten aufgerufen. Sperren ? Und bei Bestätigung Eintrag in die .htaccess.

Gruß
Stefan

[FrankW]

Hallo,

ich denke eher an den umgekehrten Weg der automatischen Entsperrung nach Zeit x.

Wenn ein Contentdieb in die Falle läuft und du 12 Stunden brauchst um zu überlegen, ob er böse ist, hat er die ersten 100000 Seiten deiner Domain kopiert und den Server lahmgelegt.
Ne
Wie gesagt, ich habe die Fallen mittlerweile auf vielen Projekten drauf und hier schlagen teilweise im Minutentakt meldungen ein, um die ich mich später gesammelt kümmere.
Nachteil: Arbeit und evtl. gehen mir ein paar Besucher durch die Lappen, da auch dynamische IPs in die Fallen rennen. Zudem sperre ich knallhart das Ausland, da die statistisch gesehen eh nicht in deutschen Shops kaufen und damit keinen Umsatz erzeugen können.

Vorteil:
Traffic und Last sinken bei mir und den Webservices (!) und Seiten die vom ersten Tag damit laufen erscheinen nahezu gar nicht mehr mit Kopien im Index.

Für mich ist also schon klar, dass sich die Arbeit für mich selber lohnt, nur wie baue ich es durchdacht ein, damit auch die breite Masse davon profitiert und auch versteht, was da passiert ?

Gruß
Frank

[HannoM]

In meinen Statistiken werden die verschiedenen Bots die meine Projekte besuchen angezeigt, das Filtern ist dann kein problem mehr!

[FrankW]

Hi,

na dann leg doch mal los
Womit wertest du denn aus ?

Gruß
Frank