Welche KI-Crawler sollte ich in der robots.txt erlauben? (ChatGPT, Claude, Gemini, Perplexity)

Wenn du in ChatGPT, Claude oder Perplexity als Quelle auftauchen willst, musst du vor allem die Such- und Nutzer-Crawler der Anbieter erlauben – also OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot und Perplexity-User. Ob du zusätzlich die Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) zulässt, ist eine eigene Entscheidung: Sie betrifft, ob deine Inhalte für das Training künftiger KI-Modelle verwendet werden dürfen.

Warum gibt es pro KI-Anbieter mehrere Crawler?

Die großen Anbieter trennen inzwischen sauber nach Aufgabe. Grob gibt es drei Typen:

• Training: Sammelt Inhalte, die in das Training zukünftiger Modelle einfließen können.
• Suche / Indexierung: Baut den Suchindex auf, aus dem die KI ihre Antworten mit Quellen speist.
• Nutzer-Abruf (Live): Ruft eine Seite in Echtzeit ab, wenn jemand im Chat konkret danach fragt oder einen Link einfügt.

Das Entscheidende: Diese Einstellungen sind voneinander unabhängig. OpenAI schreibt in seiner Dokumentation ausdrücklich, dass das Sperren von GPTBot nicht automatisch die ChatGPT-Suche sperrt – und umgekehrt (OpenAI: Overview of OpenAI Crawlers).

Die wichtigsten KI-Crawler im Überblick

Anthropic beschreibt die drei eigenen Crawler und ihre Auswirkungen auf die Sichtbarkeit in einem eigenen Hilfeartikel (Anthropic: Crawler und robots.txt). Eine Übersicht über alle Google-Crawler findest du in der Google-Search-Central-Dokumentation.

Was passiert, wenn ich Google-Extended sperre?

Google-Extended ist kein eigener Crawler, sondern ein Steuerungssignal: Damit legst du fest, ob Google deine Inhalte für das Training und die Antworten seiner Gemini-Modelle nutzen darf. Die normale Google-Suche läuft weiterhin über den Googlebot. Wer Google-Extended sperrt, verschwindet also nicht aus der Google-Suche.

Sollte ich die Trainings-Crawler erlauben?

Das hängt von deinem Geschäft ab:

• Dienstleister, Agenturen, lokale Betriebe: Meist sinnvoll zu erlauben. Je öfter dein Unternehmen mit korrekten Angaben in Trainingsdaten vorkommt, desto eher „kennt“ eine KI dich auch ohne Live-Suche.
• Verlage, Fotografen, Anbieter von Bezahlinhalten: Hier kann es gute Gründe geben, Training zu sperren, die Such-Crawler aber offen zu lassen – so bleibst du zitierbar, ohne deine Inhalte für das Modelltraining freizugeben.

Beispiel: robots.txt für maximale KI-Sichtbarkeit

User-agent: *
Allow: /

# Training
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /

# Suche / Index
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /

# Nutzer-Abruf
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /

Sitemap: https://deinewebsite.at/sitemap.xml

Wenn du dein Training sperren, aber zitierbar bleiben willst, setzt du bei GPTBot, ClaudeBot und Google-Extended einfach Disallow: / statt Allow: /.

Wie prüfe ich meine eigene robots.txt?

1. Ruf deinewebsite.at/robots.txt im Browser auf.
2. Such nach den Namen aus der Tabelle oben. Steht bei einem davon Disallow: /, ist dieser Crawler komplett gesperrt.
3. Achte auch auf die Zeile User-agent: * mit Disallow: / – die sperrt alle Crawler, die nicht eigens erwähnt werden.

Tipp für Shopify: Die robots.txt wird von Shopify automatisch erzeugt. Anpassen kannst du sie über eine Datei robots.txt.liquid im Theme-Code.

Eine offene robots.txt ist die Grundvoraussetzung – aber nur der erste Schritt. Was danach zählt, erklärt unser Beitrag „Was ist GEO?“. Und ob sich eine llms.txt zusätzlich lohnt, liest du hier.

Unsicher, ob deine Website für KI-Crawler offen ist? Schreib mir – ich schau mir das gerne an.