Web & SEO

Robots.txt

Eine Datei im Websitehauptverzeichnis mit Zugriffsregeln für Crawler und URL-Pfade. Sie ist keine Sicherheitsmaßnahme und verhindert die Indexierung einer anderweitig auffindbaren URL nicht zuverlässig.