AI-Bot-Policy

GPTBot, ClaudeBot, PerplexityBot bestimmen, ob Inhalte in AI-Antworten auftauchen, bewusste Entscheidung nötig.

Was wird geprüft

Prüft robots.txt auf Regeln für GPTBot, ClaudeBot, PerplexityBot und weitere.

Warum ist das wichtig

GPTBot, ClaudeBot, PerplexityBot bestimmen, ob Inhalte in AI-Antworten auftauchen, bewusste Entscheidung nötig.

Häufige Ursachen

Die robots.txt enthält keine Regeln für AI-Crawler, für GPTBot & Co. gilt dann die Default-Erlaubnis, oft unbewusst.
Eine Pauschal-Blockade aus der Copyright-Debatte sperrt auch die Crawler aus, die AI-Suche und Zitierungen speisen.
Die Regeln sind veraltet, neue Bots mit neuen User-Agents sind nicht erfasst.

So beheben

Entscheidung mit Marketing + Legal treffen, dann User-agent-Sektionen in robots.txt setzen.

Erst selbst prüfen

Der Tracking-Check testet diesen Punkt zusammen mit allen anderen in Sekunden.

Tracking-Check starten →

Verwandte Checks

robots.txt →llms.txt →

Häufige Fragen

Was bedeutet ein negativer Befund im Check AI-Bot-Policy?

GPTBot, ClaudeBot, PerplexityBot bestimmen, ob Inhalte in AI-Antworten auftauchen, bewusste Entscheidung nötig. Entscheidung mit Marketing + Legal treffen, dann User-agent-Sektionen in robots.txt setzen.

Wie behebt man einen negativen Befund im Check AI-Bot-Policy?

Entscheidung mit Marketing + Legal treffen, dann User-agent-Sektionen in robots.txt setzen.

Behebung

Verdrahtet in Tagen, nicht in Sprints.

Befunde aus dem Tracking-Check gehen im Audit Sprint in eine Reihenfolge mit Aufwand, jeder Baustein mit Abnahmekriterium.

Zur Leistung Audit Sprint anfragen