Suchmaschinen aussperren - robots.txt

[FrankW]

Hallo,

als kleine Information für alle, die sich zwar evtl. große Sorgen um Suchmaschinen machen, sich aber weniger darum kümmern wie sie arbeiten.

Das Skript wird mit einer robots.txt ausgeliefert (siehe auch hier: http://www.affilinator.de/doku-4.html), in der z.B. alle "imaginären Bildordner" die durch mod_rewrite beim umschreiben der Bilder enstehen gesperrt.

Alle Sperrungen bringen natürlich nur etwas, wenn sich die jewelige Suchmaschine auch daran hält bzw. überhaupt richtig eingetragen ist.

Achtung, der /no-index/ Folder über den wir die externen Partnerlink schicken ist nicht gesperrt:
#Disallow: /no-index/
Hier sollte jeder selber entscheiden, ob Google diesen Links folgt und daran evtl. Affiliate Sites erkennt (und abstraft ?), ob Google nicht folgt oder ob es schlichtweg unwichtig ist.

Ich bin mir hier selber nicht einig, da Google die Links ja sieht und anders herum viellciht auch "sauer" ist, wenn der Spider nicht folgen und nachsehen darf.

Eure Meinungen und Erfahrungen sind hier also gefragt.

Gruß
Frank