So funktioniert es
robots.txt steuert, welche Pfade ein Crawler abrufen darf. Eine Disallow-Regel kann Crawling begrenzen, entfernt eine bekannte URL aber nicht zuverlässig aus der Suche. Die seitenbezogene Anweisung noindex funktioniert anders: Der Crawler muss die Seite abrufen dürfen, um sie zu lesen. Eine gleichzeitige Sperre kann dieses Ziel verhindern.
Ein realistisches Beispiel
Ein Vorschauordner kann geschützt sein, während die öffentliche Website crawlbar bleiben muss. Wird versehentlich eine Testregel wie Disallow: / übernommen, können Crawler keinen Pfad abrufen. Eine Sperre von Skript- oder Stylesheet-Ordnern kann außerdem verhindern, dass sie Darstellung und Inhalte so sehen wie Besucher.
Was Sie prüfen können
Rufen Sie /robots.txt auf der tatsächlichen öffentlichen Domain ab und prüfen Sie Status und Inhalt. Lesen Sie die Regeln für den betreffenden User-Agent, testen Sie repräsentative Seiten- und Ressourcenpfade und prüfen Sie die Sitemap-Adresse. Soll eine Seite aus der Suche ausgeschlossen werden, prüfen Sie zusätzlich ihr Meta-Robots-Tag oder den HTTP-Robots-Header.
Grenzen und nächste Schritte
Die Datei ist öffentlich und ersetzt keine Zugriffskontrolle. Schützen Sie vertrauliche Dateien durch Authentifizierung, nicht durch eine Auflistung in robots.txt. Nehmen Sie eng begrenzte, dokumentierte Änderungen vor und testen Sie anschließend öffentliche Inhalte. Nicht jede Suchmaschine versteht optionale Anweisungen gleich.