Check-Erklärung
AI-Bot-Policy
GPTBot, ClaudeBot, PerplexityBot bestimmen, ob Inhalte in AI-Antworten auftauchen, bewusste Entscheidung nötig.
- hinweis
Was wird geprüft
Prüft robots.txt auf Regeln für GPTBot, ClaudeBot, PerplexityBot und weitere.
Warum ist das wichtig
GPTBot, ClaudeBot, PerplexityBot bestimmen, ob Inhalte in AI-Antworten auftauchen, bewusste Entscheidung nötig.
Häufige Ursachen
- Die robots.txt enthält keine Regeln für AI-Crawler, für GPTBot & Co. gilt dann die Default-Erlaubnis, oft unbewusst.
- Eine Pauschal-Blockade aus der Copyright-Debatte sperrt auch die Crawler aus, die AI-Suche und Zitierungen speisen.
- Die Regeln sind veraltet, neue Bots mit neuen User-Agents sind nicht erfasst.
So behebt man es
Entscheidung mit Marketing + Legal treffen, dann User-agent-Sektionen in robots.txt setzen.
Was bedeutet ein negativer AI-Bot-Policy-Befund?
GPTBot, ClaudeBot, PerplexityBot bestimmen, ob Inhalte in AI-Antworten auftauchen, bewusste Entscheidung nötig. Entscheidung mit Marketing + Legal treffen, dann User-agent-Sektionen in robots.txt setzen.
Wie behebt man AI-Bot-Policy?
Entscheidung mit Marketing + Legal treffen, dann User-agent-Sektionen in robots.txt setzen.