User-agent: Slurp
Crawl-delay: 600 #oppure il tempo che credi espresso in secondi#

User-agent: msnbot
Crawl-delay: 600 #oppure il tempo che credi espresso in secondi#

User-agent: googlebot
Crawl-delay: 600 #oppure il tempo che credi espresso in secondi#

User-agent: *
Crawl-delay: 600 #oppure il tempo che credi espresso in secondi#