Cómo funciona
robots.txt determina qué rutas puede solicitar un rastreador. Una regla Disallow puede limitar el rastreo, pero no elimina de forma fiable una URL conocida de los resultados. La instrucción noindex de una página es diferente: el rastreador necesita poder descargarla para leerla. Bloquearla a la vez puede impedir ese objetivo.
Un ejemplo realista
Una carpeta de vista previa puede requerir protección mientras el sitio público debe seguir siendo rastreable. Copiar por error una regla de pruebas como Disallow: / a producción bloquea todas las rutas para los rastreadores. Bloquear scripts o estilos también puede impedir que vean la presentación y los contenidos que reciben los usuarios.
Qué puede comprobar
Solicite /robots.txt en el dominio público exacto y compruebe su estado y contenido. Lea las reglas del agente correspondiente, pruebe rutas representativas de páginas y recursos, y revise la dirección del sitemap. Si una página debe excluirse de la búsqueda, inspeccione también su meta robots o su cabecera HTTP de robots.
Límites y próximos pasos
El archivo es público y no sustituye el control de acceso. Proteja los archivos confidenciales mediante autenticación, no enumerándolos en robots.txt. Haga cambios específicos y documentados, y compruebe después el contenido público. No todos los buscadores interpretan las instrucciones opcionales igual.