# Allow only specific directories User-agent: ScoutJet Allow: /public ############################## # Google ############################## User-agent: googlebot Disallow: /cgi-bin/ Disallow: /*? ############################## # MSN ############################## User-agent: MSNBOT Disallow: /cgi-bin/ Disallow: /*? ############################## # MSN2 ############################## User-agent: msnbot-media/1.0 Disallow: /cgi-bin/ ############################## # ALEXA ############################## User-agent: alexa_site_report Disallow: /cgi-bin/ Disallow: /*? ############################## # YAHOO ############################## User-agent: slurp Disallow: /cgi-bin/ Disallow: /*? ############################## # BAN OTHERS ############################## User-agent: * Disallow: /cgi-bin/ Disallow: /*?