User-agent: * 
disallow: /_*
disallow: /cgi-bin
disallow: /css
disallow: /provisional
disallow: /scripts
# no indexar archivos que terminen en .js -> disallow: /*.js$