robots.txt prüfen

Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar.

Was wird geprüft

Prüft Erreichbarkeit der robots.txt und ob sie alles blockiert.

Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar.

Ein „Disallow: /“ aus der Staging-Phase ist mit live gegangen.
Die Datei liefert einen Fehler oder Redirect, manche Crawler behandeln das wie eine Blockade.
Der Sitemap-Verweis fehlt oder zeigt auf eine tote URL.

So beheben

robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".

Erst selbst prüfen

Der Tracking-Check testet diesen Punkt zusammen mit allen anderen in Sekunden.

Verwandte Checks

Was bedeutet ein negativer Befund im Check robots.txt?

Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar. robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".

Wie behebt man einen negativen Befund im Check robots.txt?

robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".

Behebung

Befunde aus dem Tracking-Check gehen im Audit Sprint in eine Reihenfolge mit Aufwand, jeder Baustein mit Abnahmekriterium.