Crawlertrap googleboot ausgeschlossen ?

[FrankW]

Ihr macht mich fertig

http://www.dnsstuff.com/tools/whois.ch?ip=80.253.81.182

Ich hab gard nicht parat was Microsoft URL Control eigentlich war, aber MSN ist es ganz sicher nicht !

Noch mal kurz zur Erklärung:
Der Crawltertrap Ordner ist (hoffentlich) in der robots.txt ausgeschlossen, sprich eine brave Suchmaschine läuft da nicht rein, MSN bei mir noch nie bzw. nie bewusst.

Läuft nun ein Bot rein, nehmen wir einfach einmal an es wäre der Googlebot höchstpersönlich, dann wird dessen IP temporär gesperrt, sprich genau der Bot mit der IP kommt innerhalb von den eingestellten x Stunden nicht mehr auf die Domain und sieht immer nur die Sperrseite, die er extrem langweilig finden dürfte.
Nach x Stunden wird die Sperrung bei einer erneuten Aktivierung durch irgend was wieder aufgehoben.
Der brave Bot würde daraus lernen, denn er hat genug andere Ziele und IPs, während der böse Bot beim nächsten Besuch eigentlich nicht lernfähig sein dürfte und gleich wieder in die Sperrung läuft.

In deinem Fall hat irgend ein Misch Masch aus Schweiz und Malaysia sich nicht an die Regeln gehalten und ist blind in die Falle gelaufen und zurecht gesperrt worden. Gute Falle, ich mag das Teil wirklich.

Im worst case war es der Bot eines Unternehmens, dass automatisiert überprüfen will, wo die eigenen Mitarbeiter so rumbrowsen, um den Webwasher zu trainieren.
Beispiel: Bei Siemens ist ebay gesperrt, die Leute sollen schaffen statt kaufen.

Wie dem auch sei, die Sperrung wird automatisiert wieder aufgehoben, was du, wenn du die Mails abgeschaltet hast, auch manuell einen Tag später im Adminbereich prüfen kannst.

Hm, kennst jemand ein Faq oder Ticket System, wo man solche Anfragen eigentlich gescheit archivieren kann ?

Gruß
Frank

[AxelK]

Hi,

nein. Wenn ich mir die WHOIS-Angaben ansehe kommt folgendes:

IP:  80.253.81.182
  IP-Range:  80.253.81.0 - 80.253.81.255
  Host:  80.253.81.182
  Netname:  JEFTEX-NET-2
  Description:  Dedicated Servers New green.ch ag, Brugg, Switzerland
  Country:  CH
  Person:
  Address:  Petronas Twin Towers Kuala Lumpur 50088 Malaysia Badstrasse 50 5200 Brugg Switzerland

Und das sieht für mich nicht wie MSN aus, sondern ist Ungeziefer.

Gruß Axel

[FrankW]

Aufgestanden ?

Petronas Twin Towers Kuala Lumpur 50088 Malaysia Badstrasse 50 5200 Brugg Switzerland

<- die Adresse ist interessant...

[DietmarR]

Moinsen,

Der Crawlertrap Ordner ist (hoffentlich) in der robots.txt ausgeschlossen

jo, ist er.

während der böse Bot beim nächsten Besuch eigentlich nicht lernfähig sein dürfte und gleich wieder in die Sperrung läuft.

Ok, die lieben Bots sollen ja möglichst viele Seiten indizieren, was ist das Ziel des bösen Bots ? Möglichst viel Traffic zu verursachen ? Und was ist den der Sinn des Crawlertrap ? Ist es eine Datei die sagt welche Bots willkommen sind und welche nicht ? z.b. wenn google kommt, willkommen, und wenn ein Spam Bot kommt, tschüss ?

C u.

[FrankW]

Zitat von DietmarR

Ok, die lieben Bots sollen ja möglichst viele Seiten indizieren, was ist das Ziel des bösen Bots ? Möglichst viel Traffic zu verursachen ? Und was ist den der Sinn des Crawlertrap ? Ist es eine Datei die sagt welche Bots willkommen sind und welche nicht ? z.b. wenn google kommt, willkommen, und wenn ein Spam Bot kommt, tschüss ?
C u.

Jetzt gehts ans eingemachte.

http://www.affilinator.de/doku/CrawlerTrap

Geh mal davon aus, dass es unendlich viele "böse" Bots und Spider gibt, die u.a. folgendes wollen und dabei Traffig (evtl. VIEL Traffig) verursachen:
- sie scannen deine Seite und füllen den eigenen Index ohne je brauchbare Besucher zu bringen (Südchinesen kaufen nicht...)
- sie hijacken deine Seite, sprich bilden deinen Content bei sich ab, um deine Besucher zu kriegen und schaden dir am Ende sogar noch mehr
- sie suchen Fehler und Lücken, um deinen Server / Webseite zu hacken
- sie suchen Gästebücher um dir viele Grüße zu senden
- sie suchen jegliche Art von Formularen in der Hoffnung dir un der Welt mit deinem oder ihrem Absender laufend sehr viele nützliche Grüße und Emails zu schicken
- Sie suchen Foren, um sich auch dort dauerhaft mit richtig nützlichem Content zu verewigen
- sie suchen Email Adressen, um die auf Lebenszeit mit noch viel mehr Grüßen zu bomardieren
- sie suchen Telefonnummern, um mal mit dir zu schwatzen
- sie lieben Handy Nummern, da sie dir dann automatisch nützliche SMS schicken können
- sie freuen sich über Faxnummern, da du dich darüber noch mehr freust
- sie suchen einfach nur deine Postadresse, besser als nichts
- sie suchen einfach nur noch mehr Links, für den Fall, dass deine Seite sonst nichts zu bieten hat
- sie klauen deine Bilder
- ja manche erzeugen sogar einfach nur Klicks, damit du in den Logs siehst wie wichtig sie sind (und dann rufen sie doch wieder an...)

Unterschätzt niemals mit welcher Energie andere versuchen ihre Ziele zu erreichen und bedenke immer, dass es darunter viele Profis gibt, die laufend besser werden.

Wenn dir das alles nichts ausmacht und dein Server und Geldbeutel den ganzen Müll verkraftet, dann brauchst du die Crawlertrap nicht

Gruß
Frank

[MarcoG]

Hab mehrere Bots gefangen, die "Google Wireless Transcoder" im Useragent stehen haben. Weiß jemand was das bedeutet? Nach Google sehen die Dinger eigentlich nicht aus.

[AxelK]

Hi,

es gibt wohl ein Dienst von Google der so heißt und Webseiten für Mobilteile anpasst. Siehe hier.
UserAgent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Google Wireless Transcoder
Aber ob der crawlt ist die große Frage.

Gruß Axel

[FrankW]

IP ?
Ich fange die laufend, allerdings nicht von Googles Server und so weit ich mich erinnere mit weltweiten IPs...

Sensibel und Cool bleiben, den UserAgent vergibt der Programmierer des Robots selber !

Gruß
Frank

[AxelK]

Hi Frank,

IP ist in diesem Fall uninteressant.
Der fungiert wie ein Proxy und gibt deine IP durch.

Gruß Axel

[FrankW]

Na ja, was soll ich sagen.
Wäre es ein Bot von Google würde ich erwarten, dass er sich an die Robots hält - wenn nicht frage ich mich, was er in einem Bereich will, der ihn nichts angeht ?

Das mit der IP ist mir allerdings nicht ganz klar...

Frank