## Kein Spider darf diese Verzeichnisse indexieren
User-agent: *
Disallow: /manual/ 
Disallow: /doc/ 
Disallow: /gif/
Disallow: /foo.html
Disallow: /cgi-bin/
Disallow: /tmp/
## susedig darf alle Verzeichnisse indexieren
# User-agent: susedig
# Disallow:
## disallow stress test
# stress-agent darf nichts indexieren
# user-agent: stress-agent
# Disallow: /
## go away
# Kein Spider darf irgendwas indexieeren
# User-agent: *
# Disallow: /