Existe un archivo de texto llamado robots.txt que se coloca en el directorio raiz de un website, donde ha de indicarse qué directorios del website no se desea que sean indexados por un buscador determinado o por todos.

Cuando un robot llega a la página web, lo primero que hace es una petición de este archivo, si este archivo no existe, el robot indexará toda la web (a menos que se indique lo contrario en las etiquetas meta de cada página). Las dos instrucciones fundamentales de este archivo son:

User-agent: (indica qué robot se especifica)
Disallow: (nombra los directorios que no deben ser indexados)

Por ejemplo, supongamos que queremos que los buscadores no nos indexen el directorio /cgi-bin/:
User-agent: * (El asterisco indica que la directiva es para todos los robots)
Disallow: /cgi-bin/

Otro ejemplo: Para hacer que Google no indexe este directorio y el resto si bastará nombrar el bot de Google:
User-agent: googlebot
Disallow: /cgi-bin/