User-Agent: msnbot
Crawl-Delay: 60
User-agent: Slurp
Disallow: /
User-Agent: Googlebot
Crawl-Delay: 30
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren