Check-Erklärung
robots.txt prüfen
Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar.
- zu prüfen
- ok
Was wird geprüft
Prüft Erreichbarkeit der robots.txt und ob sie alles blockiert.
Warum ist das wichtig
Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar.
Häufige Ursachen
- Ein „Disallow: /" aus der Staging-Phase ist mit live gegangen.
- Die Datei liefert einen Fehler oder Redirect, manche Crawler behandeln das wie eine Blockade.
- Der Sitemap-Verweis fehlt oder zeigt auf eine tote URL.
So behebt man es
robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".
Was bedeutet ein negativer robots.txt-Befund?
Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar. robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".
Wie behebt man robots.txt?
robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".