KI-Crawler blockieren: mit robots.txt steuern, ob deine Website fürs KI-Training genutzt wird
Anthropic, OpenAI und Google nutzen getrennte Crawler fürs Training, für die Suche und für Abrufe im Auftrag von Nutzern. Mit robots.txt steuerst du jeden einzeln.
Du willst nicht, dass deine Texte KI-Modelle trainieren, aber trotzdem in ChatGPT- und Claude-Suchen auftauchen? Das geht, wenn du die richtigen Crawler kennst.
Worum es geht
Anthropic, OpenAI und Google trennen ihre Crawler nach Zweck. Bei Anthropic sammelt ClaudeBot Inhalte, die ins Training einfließen können, weitere Bots dienen der Suche und Abrufen im Auftrag von Nutzern. OpenAI unterscheidet GPTBot für das Training und OAI-SearchBot für die Suche in ChatGPT und weist ausdrücklich darauf hin, dass beide Einstellungen unabhängig sind. Google listet seine Crawler ebenfalls getrennt auf. In der robots.txt deiner Website steuerst du jeden einzeln.
Du kannst das Training mit deinen Inhalten ablehnen und trotzdem in KI-Suchen auftauchen. Dafür musst du die richtigen Crawler kennen.
Wofür du es nutzt
Training ablehnen
Training-Crawler sperren, ohne die Suche zu verlieren.
Sichtbar bleiben
Such-Crawler erlauben, damit KI-Suchen deine Seite zitieren.
Bewusst entscheiden
Pro Anbieter festlegen, was er darf.
So richtest du es ein
Der schnellste Weg: Prompt kopieren, in Claude Code einfügen, Enter. Claude liest die Originalquelle und fragt nach deinem OK, bevor es etwas ändert.
Lies die offiziellen Crawler-Seiten von Anthropic, OpenAI und Google: https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler Lies meine robots.txt und schlag mir Zeilen vor, die Training-Crawler sperren, Such-Crawler aber erlauben. Erklär jede Zeile in einem Satz und ändere die Datei erst nach meinem OK.
Noch kein Claude Code? So installierst du es →
Oder Schritt für Schritt
- Prompt einfügen: Claude liest deine robots.txt und schlägt passende Zeilen vor.
- Beispiel zum Sperren des Trainings:
User-agent: GPTBotundDisallow: /, ebenso fürClaudeBot. - Such-Crawler wie
OAI-SearchBotundGooglebotnicht sperren, wenn du gefunden werden willst. - Datei hochladen. OpenAI nennt etwa 24 Stunden, bis die Änderung bei der Suche greift.
Gut zu wissen
- robots.txt ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran.
- Für die eigene Guide-Website ist das Gegenteil gewollt: Dort sollen KI-Suchen die Seiten finden.