WhatsAppContáctanos

Ordenadores

PC ClinicMantenimiento y ampliacionesOrdenadores para juegosPeriféricos y configuración

Cámaras de seguridad

Seguridad del hogar y cámaras

Wifi exterior

Wifi exterior y para villas

Smart Home y wifi

Wifi y redesDomótica y televisión

Asistencia personal

Ayuda tecnológica individualTeléfonos y tabletasAsistencia remota

Web y comercio electrónico

Sitios web y tiendas onlineSEO y visibilidadRedes y nube

Web y SEO

Robots.txt

Un archivo en la raíz de la web con reglas de acceso para rastreadores a rutas URL. No es una medida de seguridad ni impide de forma fiable indexar una URL que pueda descubrirse por otros medios.

Cómo funciona

robots.txt determina qué rutas puede solicitar un rastreador. Una regla Disallow puede limitar el rastreo, pero no elimina de forma fiable una URL conocida de los resultados. La instrucción noindex de una página es diferente: el rastreador necesita poder descargarla para leerla. Bloquearla a la vez puede impedir ese objetivo.

Un ejemplo realista

Una carpeta de vista previa puede requerir protección mientras el sitio público debe seguir siendo rastreable. Copiar por error una regla de pruebas como Disallow: / a producción bloquea todas las rutas para los rastreadores. Bloquear scripts o estilos también puede impedir que vean la presentación y los contenidos que reciben los usuarios.

Qué puede comprobar

Solicite /robots.txt en el dominio público exacto y compruebe su estado y contenido. Lea las reglas del agente correspondiente, pruebe rutas representativas de páginas y recursos, y revise la dirección del sitemap. Si una página debe excluirse de la búsqueda, inspeccione también su meta robots o su cabecera HTTP de robots.

Límites y próximos pasos

El archivo es público y no sustituye el control de acceso. Proteja los archivos confidenciales mediante autenticación, no enumerándolos en robots.txt. Haga cambios específicos y documentados, y compruebe después el contenido público. No todos los buscadores interpretan las instrucciones opcionales igual.

Fuentes técnicas

← Todos los términos