Crawlertrap als Pflicht aktivieren ?

[FrankW]

Den Gedankengang hatte ich eigentlich letztes Jahr schon, aber irgendwie ging es beim Update doch unter.

Da es faktisch noch User gibt, die die Crawlertrap nicht aktiviert haben und die das auch auf direkte Hinweise von mir nicht tun bzw. die es nicht interessiert, überlege ich wieder die Crawlertrap zur Pflicht zu machen.

Eigentlich ist sie automatisch scharf, aber wenn der Provider wieder ganz besondere Einschränkungen hat, muss man sie eben selber aktivieren, was scheinbar für einige schon zu viel ist.

Genau diese schaden aber allen anderen, sei es Nachbarn auf dem gleichen Server, unendlich viel DC im Index oder auch nur durch die unnötige Belastung der angeschlossenen APIs.


Also spricht für euch etwas dagegen die Crawlertrap als Pflichtmodul zu setzen und z.B. mit einem Hinweis auf Seitenanfang auf eine möglicher Weise fehlerhafte oder unvollständige Installation hinzuweisen ?

Gruß
Frank

[Martin-F]

ohne Einschränkungen JA Pflicht für alle !

[ReinerH]

Auch ich plädiere unbedingt Crawlertrap als Pflicht zu aktivieren.

ja, kein problem ....

[franz z]

ja, weil es auch unabsichtlich passiert. nach der installation kommt zwar eine meldung wenn die robots.txt nicht erstellt werden konnte, wenn man das aber nicht sofort macht...

[JürgenK]

wir fahren wohl alle besser, wenn die crawlertrap zur pflicht wird! machen!!

[HelmutG]

Im eigenen Interesse und im Interesse der Gemeinschaft sollte das zur Pflicht werden.
Nix dagegen.
Freue mich, jeden Tag zu sehen, wer da wieder versucht hat, sich nicht an die Regeln zu halten.

[FrankH]

Sehe eigentlich keinen Grund, der gegen eine Pflicht bei der Crawlertrap spricht => einführen

[DanyelK]

pflicht für alle