Una araña (spider, robot, bot ...) es un software que utilizan los buscadores para encontrar e indexar el contenido de las páginas web. Este robot ingresa a la página principal, luego carga la página y sigue los enlaces que hay en ella.

Saltando de una página a otra y de un sitio a otro va navegando, y guarda en su base de datos toda la información que va encontrando. La mayoría de los robots tienen la capacidad de navegar por todos los enlaces de una página web e indexan el contenido de cada una de las páginas que componen un sitio.

Esta capacidad de rastrear en profundidad la web se le llama deep crawl. Anteriormente los robots solo indexaban la página principal, este tipo de robots se denominan shallow crawl.