# robots.txt pour le site http://www.118-annuaires.eu
##  Protection Robots ##
########################
#
# Robots à interdire en totalité
#
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: Black Hole
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: CherryPicker
Disallow: /
User-Agent: OmniExplorer_Bot
Disallow: /
User-Agent: BIGLOTRON (BETA 2;GNU/Linux) 
Disallow: /
########################
# Règle valable pour tous les robots
#
User-agent: *
########################
# Délai minimum entre chaque nouvelle visite de robot
#
Revisit-after 60 mins: /
########################
# Minimum (en secondes) entre chaque page crawlée
#
Crawl-delay: 20
########################
# Interdiction de crawler les répertoires suivants
#
Disallow: /cgi-bin/
########################
# Fichier à compéter si besoin
Sitemap: http://www.118-annuaires.eu/sitemap.xml