CRAWLERTRAP und robots.txt prüfen !

[FrankW]

Hallo,
da einige Leute selbst auf persönliche Mailings nicht mehr reagieren (da bin ich wie ein Elefant...), hier noch mal ein gezielter Aufruf an alle !

Die Crawlertrap erfüllt im wesentlichen 3 Aufgaben:

1. schützt sie eure Seite ein wenig vor Contentdieben, Spamern und Hackern - die Folge sind weniger Spam, weniger Hacker und auch weniger Probleme in Google, weil es in SüdOst-Timbuktu nicht gleich 50 Mirros von eurer Webseite gibt.

Wem das egal ist, nun gut, jeder ist seines Glückes Schmied.


2. Sie spart genau dadurch Traffic, denn all der Müll dürfte bei vielen locker 50% des Traffic ausmachen und ist meist der Grund, warum der Shared Host sich nach aufbäumt und anfängt restriktiv gegen Webmaster vorzugehen.
Bei allen Skripten sind es selten die Besucher, die so einen Ärger machen, sondern eben die Bots, die bei Billigware absolut unkontrolliert alles niedermähen, was sich ihnen in den Weg stellt.
Die Crawlertrap würde euch dabei helfen das Problem in den Griff zu kriegen und bei kontinuierlicher Arbeit sogar dauerhaft zu bewältigen.
Einige würden dann aufhören zu jammern, dass ihr Host Ihnen dauernd Morgens böse Email schickt und wieder von einer Horrornacht berichtet.

Nicht das Skript ist schlecht, das Skript kann das Problem bewältigen!

Wem auch das egal, von mir aus, jammert bitte nur nicht, dass euer Provider laufend auf euch rumhackt und um Gottes Willen fragt nicht mehr nach Dokus usw., ihr habt es nicht mal bis Seite 2 geschafft!


3. Der dritte Grund allerdings ist ein Grund, der auch uns, ja alle interessiert.
All dieser ganze Mist den Ihr u.U. durchlasst erzeugt nicht nur bei euch Traffic, sondern auch bei den angeschlossenen APIs / Webservices!

Amazon und Ebays dürften mit solchen Hobbywebmastern umgehen können, aber affilinet steckt noch in den Kinderschuhen und zu V3 kommen weitere APIs dazu, die nicht mit solchen Anfängern arbeiten wollen oder es sich nicht erlauben können.
Wer hier leichtfertig handelt schädigt effektiv Andere!
Auch das kann er gerne machen, aber dann doch bitte nicht mit unserer Software, alleine schon weil wir teilweise unsere API Zugänge verwenden und so ein Mist dann uns zugeordnet wird.


Kurzum, wer nichts gleichwertiges wie z.B. Spider-Trap oder Bot-Trap installiert hat, möge bitte dringend noch einmal in seiner Installation prüfen, ob die Crawlertrap korrekt arbeitet.

Dazu sind Schreibrechte (666) auf allen Files im Ordner lists erforderlich, der Hidden Link zur Trap gehört in alle Templates (header.html ?) und in der robots.txt im Hauptverzeichnis muss der Pfad zur Trap verboten werden.

Ein paar Minuten Arbeit mit einem sofortigen gewaltigem Nutzen !

Gruß
Frank

[Martin-F]

Es ist so einfach...

man sollte nur den Domainnamen in der config als SubID für affili.net eintragen.

Dann kann man bei affili die Click Statistik als Kontrolle nehmen.

Da sieht man dann welche Installation und welche Bots Probleme machen. Fertig!

[FrankW]

Martin (-:
Das Problem leider sind weniger jene, die sich damit beschäftigen, sondern die, die einfach bei der Installation nicht darauf achten bzw. 1:1 rüber kopieren oder ältere Nutzer, die es einfach nicht mitkriegen bzw. sich nicht drum kümmern.
Die schauen auch nicht in die Clickauswertung bzw. wenn sie es tun, scheinen sie nicht zu verstehen, was sie dort sehen, sonst müssten sie schon lange am rotieren sein.

Wir überlegen hier wirklich ab V3 restriktiver vorzugehen, da wir hier doch nicht mehr über Kleinkram reden und Belastung zu Resourcen natürlich bei den noch kleineren APIs durchaus ein Thema sind.

Grundsätzlich sollte man für verschiedene Seiten eh unterschiedliche SubIDs nehmen und das mit dem Domainnamen machen wir bei uns auch schon seit Jahren, kann ich sehr empfehlen.

Gruß
Frank

[Martin-F]

Hallo,

es war nur als Hinweis...
ist halt einfacher in der Clickauswertung zu schauen als jede Installation zu prüfen.

Die Verlierer sind wir - weil die Schnitttselle immer langsamer wird durch so einen Mist.

Gruss M.F.

[FrankW]

Deshalb ja dieser Post, da ich denke, dass wir hier nicht über Kleinkram, sondern schon über echte Masse sprechen, wobei die "Nicht Affilinatoren" mit ihren Hobbylösungen da noch viel schlimmer sind.

Wäre der Laden in Ebersberg nicht so träge und würde mehr auf Externe hören, sähe das schon lange anders aus.

[franz z]

einige fragen zu dem thema:

1-

man sollte nur den Domainnamen in der config als SubID für affili.net eintragen

geht das nachträglich und ist das nur in der config zu machen?

2-

Die schauen auch nicht in die Clickauswertung bzw. wenn sie es tun, scheinen sie nicht zu verstehen, was sie dort sehen, sonst müssten sie schon lange am rotieren sein.

genau! da hab ich schon öfter reingesehen, aber was sehe ich da? z.b.:

(00:00:10 74.6.18.242 1382 T - 23 blocked -)

3-

[FrankW]

1-


Zitat:
man sollte nur den Domainnamen in der config als SubID für affili.net eintragen
geht das nachträglich und ist das nur in der config zu machen?

Klar, man kann alle config Parameter nachträglich ändern !
(und sollte es teilweise evtl. auch)
config.php sichern (!) und folgende Zeile ändern:

PHP-Code:

define('SubID', 'coole-domain'); // Affilinet SubID 


Das mit dem Domainnamen ist natürlich nur ein Beispiel, um bei unzähligen Installationen durchzublicken, es geht ja primär nur darum die Klicks und Sales zu identifizieren.

2-


Zitat:
Die schauen auch nicht in die Clickauswertung bzw. wenn sie es tun, scheinen sie nicht zu verstehen, was sie dort sehen, sonst müssten sie schon lange am rotieren sein.
genau! da hab ich schon öfter reingesehen, aber was sehe ich da? z.b.:

(00:00:10 74.6.18.242 1382 T - 23 blocked -)

Bei nicht aktiver Crawlertrap würdest du unzählige Klicks im Sekundentakt von ein und der selben IP sehen, die nicht Google oder Yahoo ist.
Bei einer aktiven Seite fällt das irgend wann auf, da es in die zig Tausende geht.
Der User würde sich also z.B. über eine Webalizer Statistik mit vielen bunten hohen Balken freuen und dann in der affilinet Klickasuwertung bei einem IP-Vergleich feststellen, dass fast alles Bots sind.

Bei ebay gehen ja 10% der Klicks an uns, da fällt uns das auf, ~80% der Klicks werden durch unbrauchbareBots verursacht, die eigentlich nicht da sein dürften, wenn man die Crawlertrap und robots.txt nutzt.

Dein Beispiel:
74.6.18.242 -> Inktomi = Yahoo, was sogar affilinet "blocked".
Entweder hast du den no-index Bereich gezielt offen gelassen oder in der robots.txt passt evtl. ein Pfad nicht.
Yahoo meine ich hält sich eigentlich recht häufig an die robots, dürfte also in Klickstatistiken ZU affilinet kaum mehr auffallen.
Hab grad mal eine Domain bei uns geprüft, 0 Inktomi in der Klickstatistik.

3.

fehlt bei mir ?

Gruß
Frank

[franz z]

hi frank, danke für die erklärung. bringt schon mal ein wenig licht ins dunkel

1 = klar

2 = werde da noch schauen..

3 = hab ich vergessen zu löschen

[LarsN]

Hi,
habe nach der erfolgreichen Installation die robot.txt geprueft .
Danach die conf die Eintraege des Crawlertrap angeschaut.

Wie pruefe ich das jetzt alles funktioniert?

Bot-Trap hatte ich eingefuegt, aber auf Grund der Warnung wieder entfernt.

MfG
lpn

http://www.minimoney.de/affilinator/

[FrankW]

/crawlertrap im Ordner - bei dir nicht aktiv.

Auf Anhieb sehe ich auch keine robots.txt im Hauptverzeichnis, wo sie eigentlich liegen sollte.

Deine robots im Affilinator Ordner sieht irgendwie komisch aus, hast du die selbst bearbeitet ?

Schieb die ins hauptverzeichnis und passe die Pfade manuell an.

Die Bot-Trap kann ich leider wirklich nicht mehr empfehlen, nach dem eben wiederholt DialIns gesperrt wurden. schade um das an sich sehr gute Projekt.

Gruß
Frank