Web y SEO

Robots.txt

Un archivo en la raíz de la web con reglas de acceso para rastreadores a rutas URL. No es una medida de seguridad ni impide de forma fiable indexar una URL que pueda descubrirse por otros medios.