Sicherheit & Tokens

KI-Crawler blockieren: mit robots.txt steuern, ob deine Website fürs KI-Training genutzt wird

Anthropic, OpenAI und Google nutzen getrennte Crawler fürs Training, für die Suche und für Abrufe im Auftrag von Nutzern. Mit robots.txt steuerst du jeden einzeln.

KostenlosOffiziell von AnthropicStand 10.11.2026

Du willst nicht, dass deine Texte KI-Modelle trainieren, aber trotzdem in ChatGPT- und Claude-Suchen auftauchen? Das geht, wenn du die richtigen Crawler kennst.

Worum es geht

Anthropic, OpenAI und Google trennen ihre Crawler nach Zweck. Bei Anthropic sammelt ClaudeBot Inhalte, die ins Training einfließen können, weitere Bots dienen der Suche und Abrufen im Auftrag von Nutzern. OpenAI unterscheidet GPTBot für das Training und OAI-SearchBot für die Suche in ChatGPT und weist ausdrücklich darauf hin, dass beide Einstellungen unabhängig sind. Google listet seine Crawler ebenfalls getrennt auf. In der robots.txt deiner Website steuerst du jeden einzeln.

Warum sich das lohnt

Du kannst das Training mit deinen Inhalten ablehnen und trotzdem in KI-Suchen auftauchen. Dafür musst du die richtigen Crawler kennen.

Wofür du es nutzt

Training ablehnen

Training-Crawler sperren, ohne die Suche zu verlieren.

Sichtbar bleiben

Such-Crawler erlauben, damit KI-Suchen deine Seite zitieren.

Bewusst entscheiden

Pro Anbieter festlegen, was er darf.

So richtest du es ein

Der schnellste Weg: Prompt kopieren, in Claude Code einfügen, Enter. Claude liest die Originalquelle und fragt nach deinem OK, bevor es etwas ändert.

Install-Prompt für Claude Code
Lies die offiziellen Crawler-Seiten von Anthropic, OpenAI und Google: https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Lies meine robots.txt und schlag mir Zeilen vor, die Training-Crawler sperren, Such-Crawler aber erlauben. Erklär jede Zeile in einem Satz und ändere die Datei erst nach meinem OK.

Noch kein Claude Code? So installierst du es →

Oder Schritt für Schritt

  1. Prompt einfügen: Claude liest deine robots.txt und schlägt passende Zeilen vor.
  2. Beispiel zum Sperren des Trainings: User-agent: GPTBot und Disallow: /, ebenso für ClaudeBot.
  3. Such-Crawler wie OAI-SearchBot und Googlebot nicht sperren, wenn du gefunden werden willst.
  4. Datei hochladen. OpenAI nennt etwa 24 Stunden, bis die Änderung bei der Suche greift.

Gut zu wissen

  • robots.txt ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran.
  • Für die eigene Guide-Website ist das Gegenteil gewollt: Dort sollen KI-Suchen die Seiten finden.
Ein Tool ist erst der Anfang.In der KI Akademie greift alles ineinander, und deine KI weiß ab Tag eins, wie du arbeitest.
Auf die Warteliste →

Warteliste

Sichere dir deinen Platz in der KI Akademie.

Die KI Akademie öffnet zuerst für alle auf der Warteliste. Trag dich ein und sei dabei, bevor die Türen offiziell aufgehen.

  • 1

    Als Erstes rein

    Du bekommst den Zugang, bevor die KI Akademie öffentlich angekündigt wird.

  • 2

    Frühstarter-Vorteil

    Nur für die Warteliste: Du bekommst die besten Konditionen – günstigster Preis und alle Extras, die es danach nicht mehr gibt.

  • 3

    Blick hinter die Kulissen

    Bis zum Start zeige ich dir per Mail, woran ich gerade baue – inklusive erster Vorlagen.

  • 4

    Null Risiko

    Der Eintrag ist kostenlos und unverbindlich. Abmelden geht jederzeit mit einem Klick.

Warteliste geöffnet

Trag dich auf die Warteliste ein

E-Mail eintragen, fertig. Kein Spam, versprochen.

Kopiert