Robots

HaraldM · #1 27.03.2009, 08:17

ich bin neu hier im Forum. Ich habe mir die Quelle version runntergeladen und installiert. Hat alles geklappt. bist auf die Robots.txt. Ich habe sie im Root Verzeichniss des servers der shop befindet sich im verzeichniss /afshop
meine Robots.txt sie so aus

Zitat:

User-agent: *
Disallow: /afshop/crawlertrap/

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>401 Authorization Required</title>
</head><body>
<h1>Authorization Required</h1>
<p>This server could not verify that you
are authorized to access the document
requested. Either you supplied the wrong
credentials (e.g., bad password), or your
browser doesn't understand how to supply
the credentials required.</p>
</body></html>

die Fehlermeldung die ich im Adminbereich unter crawlercap erhalte sieht so aus.

Zitat:

Die Crawlertrap ist nicht aktiv. Entweder ist die robots.txt nicht am richtigen Platz oder es fehlt in der robots.txt der Eintrag bzw. ist dieser nicht korrekt.
Die Datei 'robots.txt' muss im Hauptpfad ihrer Domain liegen. Wenn Sie keine 'robots.txt' dort haben, kopieren Sie die Datei 'robots.txt' aus dem Affilinatorverzeichnis in ihr Hauptverzeichnis. Fügen Sie in den Bereich 'User-agent: *' die Zeile 'Disallow: /afshop/crawlertrap/' an.

jetzt weis ich wirklich nicht mehr weiter. kann mir jemnd bitte helfen
Haraldo

AxelK · #2 27.03.2009, 09:58

Hi,

der Affilinator hatte wohl Probleme deine robots.txt sauber anzulegen. Kopiere doch bitte die robots.txt aus dem Paket nicht nach "verzeichniss /afshop", sondern in das Rootverzeichnis, also eine ebene höher.

Dann trage dort von Hand ein:
User-agent: *
Disallow: /afshop/crawlertrap/

Dann sollte es auch klappen.

Gruß Axel

HaraldM · #3 27.03.2009, 11:55

Danke für die schnelle Antwort: Aber das habe ich getan. Konnte ich auch hier im Forum nachlesen. Robots.txt befindet sich im Rootverzeichniss und sieht so wie oben beschrieben aus. Das scheint nicht die Lösung zu sein bzw. das problem.

JürgenK · #4 27.03.2009, 12:29

Moin,

wenn die robots.txt im Root liegt, müsste es eigentlich klappen.

Verstehe ich das richtig - diesen Text:
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>401 Authorization Required</title>
</head><body>
<h1>Authorization Required</h1>
<p>This server could not verify that you
are authorized to access the document
requested. Either you supplied the wrong
credentials (e.g., bad password), or your
browser doesn't understand how to supply
the credentials required.</p>
</body></html>

hast Du in die robots.txt geschrieben???
Falls ja, lösche den. Der gehört in die robots.txt nicht rein.
Vielleicht war das schon die Lösung des Problems.

In der robots.txt sollte nur stehen, was Axel auch geschrieben hat:
User-agent: *
Disallow: /afshop/crawlertrap/

Gruß
JK

AxelK · #5 27.03.2009, 12:29

Hi,

in der robots.txt sollte das "<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>..." nicht stehen und so wie du geschrieben hast befindet sich deine robots.txt im Affilinatorverzeichnis.

robots.txt liegt immer hier: www.deinedomain.de/robots.txt

Gruß Axel

HaraldM · #6 27.03.2009, 17:31

ich gebs bald auf, also die Robots txt ist definitiv im rootverzeichniss nicht in /afshop und sie sieht so aus

Zitat:

User-agent: *
Disallow: /afshop/crawlertrap/

aber immer noch dasselbe. Keine Ahnung wo das dran liegt.

AxelK · #7 27.03.2009, 18:33

Hi,

und in der config.php ist die sicher aktiviert?
define('CRAWLERTRAP_ACTIVE','1');

Wenn ja, schicke mir doch mal genauere Infos per PM.

Gruß Axel

HaraldM · #8 27.03.2009, 19:53

Hallo Axel danke für deine Mühe aber
ja ist so, hier zu sehen.

Zitat:

//Crawlertrap
define('CRAWLERTRAP_ACTIVE','1');
define('CRAWLERTRAP_PATH',PATH_BASE.'crawlertrap/');
define('CRAWLERTRAP_ESCAPE_MINUTES_BLACKLIST','144 0'); // Eintrag Blacklist nach x Minuten löschen
define('CRAWLERTRAP_ESCAPE_MINUTES_WHITELIST','30' ); // Eintrag Whitelist nach x Minuten löschen
define('CRAWLERTRAP_EMAIL_ON_ADD','1');
define('CRAWLERTRAP_EMAIL_ON_DEL','1');
define('CRAWLERTRAP_EMAIL_ADDRESS_TO','hmirre@hotm ail.com');

was für infos brauchst du per PM

FrankW · #9 27.03.2009, 23:53

was macht denn das Blank da ?
'blabla@hotm<->ail.com');

Ansonsten fände ich mal ein Link zum Skript und Infos zur Version toll, ist ja nicht so, als ob wir darum nicht wirklich an jeder Ecke ausdrücklich bitten.

Bitte nicht falsch verstehen, aber die Hälfte der Posts hätten wir uns mit Link schon gespart und zumindest mir fehlt der Glaube, dass ein User alle (Fehler)meldungen beachtet hat, wenn er schon diese einfachen Zeilen aus der Setup Email missachtet.

Nichts für ungut, aber das reisst die letzten Tage wieder ein und kostet faktisch mehr Zeit und Geld, als der User mit dem Kauf einer 84 Euro Lizenz erlöst. Wir schreiben das nicht aus Jux und Dollerei, sondern um schnell und effektiv helfen zu können, wenn schon nicht für euch, dann wenigstens für unsere Zeit.

Gruß
Frank

Romano · #10 28.02.2010, 17:08

Hallo,

habe kein besser passendes Thema gefunden. Daher poste mal hier. ;-)

Es ist janz einfach. es geht um:
User-agent: *
Disallow: /

Unter http://www.affilinator.de/installati...t-xml-edition/ wird vorgeschlagen:
6. Gehen Sie nicht vorschnell live und sperren Sie die Domain idealer Weise für Suchmaschinen, indem Sie in der robots.txt im Hauptverzeichnis der Domain Suchmaschinen komplett oder nur für den Skriptordner ausschließen, bis Sie so weit sind:
User-agent: *
Disallow: /

Damit ich nicht so viel Zeit verliere... Kann mir jemand auf die Schnelle ein Rat geben? Axel evtl. Du?

Will bis spät. Dienstag Tempates dem entsprechend anpassen und gleich starten. Teil von Waren fließt schon rein.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Ansicht
Linear-Darstellung Zur Hybrid-Darstellung wechseln Zur Baum-Darstellung wechseln

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Spider und Bots identifizieren	FrankW	Crawlertrap Modul	4	13.07.2007 16:50
Seltsam Google chinesich in noindex/forward_e.php?	HolgerK	Affilinator - Wie geht das ?	15	30.06.2007 12:35

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)