robots.txt Beispiele zum Kopieren und Download
Die Datei robots.txt liegt im Hauptverzeichnis einer Website und sagt Crawlern, welche Pfade sie abrufen sollen und welche nicht. Die Seite bietet drei Varianten (Crawling erlaubt, gesamte Seite gesperrt, einzelne Bereiche gesperrt) und die Standardvorlage als Download. Ein Disallow verhindert nur das Crawlen, nicht zwingend die Indexierung; die Sitemap-Adresse liegt auf der reservierten Domain example.com.
4 Varianten auf einer Seite, jede mit eigenem Kopier- oder Download-Knopf. Darunter: 3× Reservierter Bereich.
robots.txt: alles erlaubtReservierter Bereich
User-agent: * Allow: / …
Mit Sitemap-Hinweis.
robots.txt: alles gesperrt
User-agent: * Disallow: /
Sperrt das Crawlen der gesamten Seite; schützt nicht vor Indexierung per Verweis.
robots.txt: Bereiche sperren, Bot gezieltReservierter Bereich
User-agent: * Disallow: /admin/ Disallow: /intern/ …
Allow überschreibt Disallow bei längerem Pfad; ExampleBot ist ein fiktiver Bot.
robots.txt (Datei)Reservierter Bereich
User-agent: * Allow: / …
Dieselbe Vorlage als Datei.