WhatsAppKontakt aufnehmen

Computer

PC ClinicWartung und AufrüstungGaming-PCsZubehör und Einrichtung

Sicherheitskameras

Haussicherheit und Kameras

Outdoor WLAN

Outdoor WLAN

Smart Home & WLAN

WLAN & NetzwerkeSmart Home und TV

Persönliche Unterstützung

Persönliche TechnikhilfeSmartphones und TabletsFernunterstützung

Website & E-Commerce

Websites und OnlineshopsSEO und SichtbarkeitNetzwerk und Cloud

Web & SEO

Robots.txt

Eine Datei im Websitehauptverzeichnis mit Zugriffsregeln für Crawler und URL-Pfade. Sie ist keine Sicherheitsmaßnahme und verhindert die Indexierung einer anderweitig auffindbaren URL nicht zuverlässig.

So funktioniert es

robots.txt steuert, welche Pfade ein Crawler abrufen darf. Eine Disallow-Regel kann Crawling begrenzen, entfernt eine bekannte URL aber nicht zuverlässig aus der Suche. Die seitenbezogene Anweisung noindex funktioniert anders: Der Crawler muss die Seite abrufen dürfen, um sie zu lesen. Eine gleichzeitige Sperre kann dieses Ziel verhindern.

Ein realistisches Beispiel

Ein Vorschauordner kann geschützt sein, während die öffentliche Website crawlbar bleiben muss. Wird versehentlich eine Testregel wie Disallow: / übernommen, können Crawler keinen Pfad abrufen. Eine Sperre von Skript- oder Stylesheet-Ordnern kann außerdem verhindern, dass sie Darstellung und Inhalte so sehen wie Besucher.

Was Sie prüfen können

Rufen Sie /robots.txt auf der tatsächlichen öffentlichen Domain ab und prüfen Sie Status und Inhalt. Lesen Sie die Regeln für den betreffenden User-Agent, testen Sie repräsentative Seiten- und Ressourcenpfade und prüfen Sie die Sitemap-Adresse. Soll eine Seite aus der Suche ausgeschlossen werden, prüfen Sie zusätzlich ihr Meta-Robots-Tag oder den HTTP-Robots-Header.

Grenzen und nächste Schritte

Die Datei ist öffentlich und ersetzt keine Zugriffskontrolle. Schützen Sie vertrauliche Dateien durch Authentifizierung, nicht durch eine Auflistung in robots.txt. Nehmen Sie eng begrenzte, dokumentierte Änderungen vor und testen Sie anschließend öffentliche Inhalte. Nicht jede Suchmaschine versteht optionale Anweisungen gleich.

Technische Quellen

← Alle Glossarbegriffe