# Følgende botter må crawle siden minus undermapper:
# Jubii, Google, AllTheWeb (fast), Yahoo! (Slurp) og msnbot.
# Alle andre botter kan holde nallerne for sig selv!
# (for så vidt muligt at undgå bots, der ligefrem kopierer siden)

User-agent: linkchecker
Disallow:

User-agent: W3C-checklink
User-agent: JubiiRobot
User-agent: Googlebot
User-Agent: Googlebot-Image
User-agent: fast
User-agent: Slurp
User-agent: msnbot
Disallow: /files/
Disallow: /mobile/
Disallow: /include/
Disallow: /design/

User-agent: *
Disallow: /