Robots.txt

Mit der Robots.txt ist es möglich, bestimmten Suchroboter, das Durchsuchen bestimmter Dateien und Verzeichnissen zu verbieten.

User-agent: *
   Disallow:

Alle Suchmaschinenroboter zulassen, doch ein bestimmtes Verzeichniss sperren:

User-agent: *
   Disallow: /top-secret/

Mehrere verzeichnisse sperren:

User-agent: *
   Disallow: /top-secret/
   Disallow: /adminbereich/
   Disallow: /test/

Einen bestimmten Suchmaschinenroboter sperren:

User-agent: Crawl-bot123
   Disallow: /

Alle Verzeichnisse für alle Suchmaschinenroboter sperren:

User-agent: *
   Disallow: /