Robots

[Romano]

Ach ja!!! Fast vergessen! :-))

Meine aktuelle robots.txt sieht so aus:

# Please, we do NOT allow nonauthorized robots any longer.
# http://www.searchengineworld.com/robots/
# Yes, feel free to copy and use the following.
# nach eigenen Beduerfnissen angepasst

User-agent: *
Disallow: /no-index/
Disallow: /images30/
Disallow: /images60/
Disallow: /images90/
Disallow: /images120/
Disallow: /images120/
Disallow: /images180/
Disallow: /logos/
Disallow: /crawlertrap/
Disallow: /affilinator_admin/

User-agent: peerbot
Disallow: /favicon.ico

User-agent: ichiroi
User-agent: appi
User-agent: walhello
User-agent: Gigabot
User-agent: NaverBot
User-agent: aipbot
User-agent: MSIECrawler
User-agent: psbot
User-agent: WebZip
User-agent: larbin
User-agent: b2w/0.1
User-agent: Copernic
User-agent: Python-urllib
User-agent: NetMechanic
User-agent: URL_Spider_Pro
User-agent: CherryPicker
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: WebBandit
User-agent: EmailWolf
User-agent: ExtractorPro
User-agent: CopyRightCheck
User-agent: Crescent
User-agent: SiteSnagger
User-agent: ProWebWalker
User-agent: CheeseBot
User-agent: LNSpiderguy
User-agent: ia_archiver
User-agent: ia_archiver/1.6
User-agent: Alexibot
User-agent: Teleport
User-agent: TeleportPro
User-agent: MIIxpc
User-agent: Telesoft
User-agent: Website Quester
User-agent: moget/2.1
User-agent: WebZip/4.0
User-agent: WebStripper
User-agent: WebSauger
User-agent: WebCopier
User-agent: NetAnts
User-agent: Mister PiX
User-agent: WebAuto
User-agent: TheNomad
User-agent: WWW-Collector-E
User-agent: RMA
User-agent: libWeb/clsHTTP
User-agent: asterias
User-agent: httplib
User-agent: turingos
User-agent: spanner
User-agent: InfoNaviRobot
User-agent: Harvest/1.5
User-agent: Bullseye/1.0
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: CherryPickerSE/1.0
User-agent: CherryPickerElite/1.0
User-agent: WebBandit/3.50
User-agent: NICErsPRO
User-agent: Microsoft URL Control - 5.01.4511
User-agent: DittoSpyder
User-agent: Foobot
User-agent: WebmasterWorldForumBot
User-agent: SpankBot
User-agent: BotALot
User-agent: lwp-trivial/1.34
User-agent: lwp-trivial
User-agent: BunnySlippers
User-agent: Microsoft URL Control - 6.00.8169
User-agent: URLy Warning
User-agent: Wget/1.6
User-agent: Wget/1.5.3
User-agent: Wget
User-agent: LinkWalker
User-agent: cosmos
User-agent: moget
User-agent: hloader
User-agent: humanlinks
User-agent: LinkextractorPro
User-agent: Offline Explorer
User-agent: Mata Hari
User-agent: LexiBot
User-agent: Web Image Collector
User-agent: The Intraformant
User-agent: True_Robot/1.0
User-agent: True_Robot
User-agent: BlowFish/1.0
User-agent: JennyBot
User-agent: MIIxpc/4.2
User-agent: BuiltBotTough
User-agent: ProPowerBot/2.14
User-agent: BackDoorBot/1.0
User-agent: toCrawl/UrlDispatcher
User-agent: WebEnhancer
User-agent: suzuran
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: VCI
User-agent: Szukacz/1.4
User-agent: QueryN Metasearch
User-agent: Openfind data gathere
User-agent: Openfind
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Xenu's
User-agent: Zeus
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RepoMonkey
User-agent: Microsoft URL Control
User-agent: Openbot
User-agent: URL Control
User-agent: Zeus Link Scout
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-agent: Webster Pro
User-agent: EroCrawler
User-agent: LinkScan/8.1a Unix
User-agent: Keyword Density/0.9
User-agent: Kenjin Spider
User-agent: Iron33/1.0.2
User-agent: Bookmark search tool
User-agent: GetRight/4.2
User-agent: FairAd Client
User-agent: Gaisbot
User-agent: Aqua_Products
User-agent: Radiation Retriever 1.1
User-agent: WebmasterWorld Extractor
User-agent: Flaming AttackBot
User-agent: Oracle Ultra Search
User-agent: PerMan
User-agent: searchpreview
User-agent: WebAlta
User-agent: Twiceler
Disallow: /

Was soll ich jetzt machen, damit die Suchmaschinen ausgeschlossen bleiben? Alles raus bis auf:
# Please, we do NOT allow nonauthorized robots any longer.
# http://www.searchengineworld.com/robots/
# Yes, feel free to copy and use the following.
# nach eigenen Beduerfnissen angepasst

User-agent: *
Disallow: /

???? Danke!

[HelmutG]

Mach Dir nicht zu viel Arbeit, setze einfach das

User-agent: *
Disallow: /


ans Ende der robots.txt (die im Hauptverzeichnis liegt).

Wenn Du live gehen willst, nimmste die beiden Zeilen wieder raus.

Du kannst natürlich auch alles andere raus nehmen, musst das dann aber später wieder einfügen.

[Romano]

Hallo Helmut,

Danke für Deine Antwort. D.h. den ganzen Text (steht bereits oben) einfach stehen lassen und ganz unten am Schluß noch diese zwei berühmte Zeilen zufügen? Mehr nicht?

Beste Grüße

[HelmutG]

Zitat von Romano

Hallo Helmut,

Danke für Deine Antwort. D.h. den ganzen Text (steht bereits oben) einfach stehen lassen und ganz unten am Schluß noch diese zwei berühmte Zeilen zufügen? Mehr nicht?

Beste Grüße

Ja, mehr nicht.

Wenn Du fertig bist, solltest Du aber die beiden "berühmten Zeilen" wieder rausnehmen.

[Romano]

Toll! Danke Dir. Jeztz mache weilter. ;-)

[FrankW]

Ich würde die normale robots als Backup anlegen und NUR diese Zeilen einfügen!

[Romano]

Hallo Frank,

dann soll es wohl so aussehen?:
-----------------------
# Please, we do NOT allow nonauthorized robots any longer.
# http://www.searchengineworld.com/robots/
# Yes, feel free to copy and use the following.
# nach eigenen Beduerfnissen angepasst

User-agent: *
Disallow: /
----------------------


oder einfach?:
----------------------
User-agent: *
Disallow: /
----------------------

[HelmutG]

[Romano]

Hallo Helmut!

Eine tille Antwort! :-)

Entschuldigung, aber ich bin etwas verwirrrrrt. Welche Variante ist jetzt richtig?

[HelmutG]

ALLE !

Du hast die freie Wahl. Mach´s Dir doch nicht so schwer.