Crawlertrap googleboot ausgeschlossen ?

[RaimundS]

Hallo,

einfach Frage,
der Crawlertrap hat mir folgende Meldung gegeben
und ich weis nicht genau ob ich nun den Googleboot kommplet ausgeschlossen habe,
bzw. wie den evtl. wieder frei mache

-----
Crawlertrap fXgt 66.249.66.113 zur dynamic blacklist hinzu

Es wurde in dynamic blacklist hinzugefügt:
Time: 2007-04-29 (Sun) 13:47:59
IP: 66.249.66.113
HOST: crawl-66-249-66-113.googlebot.com
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
-----

Danke
und schöne Gruße
Raimund

[AxelK]

Hi Raimund,

so wie das aussieht hast du den Googlebot ausgesperrt. Lösche einfach im affilinator_admin Bereich unter crawlertrap diesen Eintrag mit den googlebot.

Zeige mir doch mal deine robots.txt, die ist wohl nicht korrekt definiert.

Gruß Axel

[FrankW]

Yep, bitte die robots.txt posten, scheint so, als ob es dort einen Fehler gibt.
Alternativ kann man auch die Google IPs bzw. den Useragent komplett freigeben, wobei die freischaltung der IP auch gewitzte Spambots freigeben würde.

Gruß
Frank

[RaimundS]

ich denke mal das der Eintrag dran schuld ist:
User-agent: *
Disallow: /crawlertrap/

den habe ich bei Update hinzugefügt.
Aber habe hier mal meine robots.txt angehängt

Gruß
Raimund

[FrankW]

Zitat von Raimund

ich denke mal das der Eintrag dran schuld ist:
User-agent: *
Disallow: /crawlertrap/

den habe ich bei Update hinzugefügt.
Aber habe hier mal meine robots.txt angehängt

Gruß
Raimund

Nö, genau der sagt dem Googlebot ja, dass er da nichts zu suchen hat !

Die Trap liegt wirklich genau dort, also nicht in einem weiteren Unterverzeichnis ???

Pack den mal nach oben:
User-agent: *
Disallow: /crawlertrap/

Frank

[AxelK]

Hi Raimund,

Zitat von Raimund

ich denke mal das der Eintrag dran schuld ist:
User-agent: *
Disallow: /crawlertrap/

ich auch.

Du solltest in der robots.txt doppelte Definitionen vermeinden. Also die Zeile 'Disallow: /crawlertrap/' in den ersten Block 'User-agent: *' hinzufügen und den anderen Block löschen.

Wenn du einen separaten Block für Google definieren möchtest, musst du darauf achten, dass alle Einträge von dem *-Block auch dort drin stehen, wenn es so gewünscht ist. Da dann Google nur diesen beachtet und die globale Anweisung übergeht.


Gruß Axel

[FrankW]

Das wollte ich sagen - danke Axel

Frank

[RaimundS]

ich denke ich mir geht nun ein Licht auf. ;-)
habe den Eintrag oben mit eingefügt.
(Wo schon andere Verzeichnisse ausgeschlossen wurden)

User-agent: *
#Disallow: /no-index/
Disallow: /images30/
Disallow: /images60/
Disallow: /images90/
Disallow: /images120/
Disallow: /images120/
Disallow: /images180/
Disallow: /logos/
Disallow: /crawlertrap/




Vielen Dank!
Beste Grüße
Raimund

[FrankW]

so war es gedacht
Ganz nebenbei, die Sperrung des Weiterleitungsordner haben wir gezielt aufgehoben, da wir damit in der Vergangenheit gut gefahren sind, aber ein User meldete jetzt, dass Google damit Mirago Weiterleitungen als seinen Content indexiert hat, was ich so noch nicht erlebt hatte.
Hier sollte also jeder seinen Weg gehen.

Gruß
Frank

[DietmarR]

Hi,

ich hab grad 2 emails bekommen die folgendes enthielten:

Es wurde in dynamic blacklist hinzugefügt:
Time: 2007-06-04 (Mon) 12:25:48
IP: 80.253.81.159
HOST: 80.253.81.159
User-Agent: Microsoft URL Control - 6.00.8862


Es wurde in dynamic blacklist hinzugefügt:
Time: 2007-06-04 (Mon) 12:41:31
IP: 80.253.81.182
HOST: 80.253.81.182
User-Agent: Microsoft URL Control - 6.00.8862


Heißt dies das wir jetzt aus MSN ausgeschlossen sind ?