Darf die KI Ihre Website überhaupt lesen? robots.txt, llms.txt und Crawler-Zugriff

Immer mehr Menschen stellen ihre Fragen nicht mehr nur in eine Suchmaschine, sondern direkt an ChatGPT, Perplexity oder lesen die KI-Übersichten in der Google-Suche. Für Unternehmen stellt sich damit eine neue Frage: Taucht die eigene Website in diesen Antworten überhaupt auf? Bevor es um Inhalte, Fachbeiträge oder Erwähnungen geht, steht eine ganz technische Voraussetzung: Die KI-Systeme müssen Ihre Seiten abrufen dürfen und können.

Dieser Beitrag erklärt, welche Crawler es gibt, wie Sie den Zugriff mit der robots.txt steuern, was die viel diskutierte llms.txt leisten kann und woran es in der Praxis häufig scheitert.

Ein Fachartikel von Slawa Ditzel, Geschäftsführer der nextlevels GmbH

1. Warum KI-Sichtbarkeit beim Crawler-Zugriff anfängt

KI-Assistenten mit Websuche arbeiten im Kern ähnlich wie klassische Suchmaschinen: Automatisierte Programme, sogenannte Crawler oder Bots, rufen Webseiten ab, werten sie aus und legen sie in einem Index ab. Hinzu kommen Abrufe, die direkt durch eine Nutzerfrage ausgelöst werden, etwa wenn ChatGPT während eines Gesprächs eine bestimmte Seite öffnet.

Wichtig ist dabei eine Unterscheidung, die viele Unternehmen übersehen: Die Anbieter betreiben in der Regel getrennte Bots für unterschiedliche Zwecke.

Einige sammeln Inhalte, die für das Training von KI-Modellen verwendet werden können. Andere dienen der Suche innerhalb des KI-Produkts, wieder andere rufen Seiten im Auftrag einzelner Nutzer ab. Wer pauschal „alle KI-Bots“ sperrt, schließt sich womöglich auch aus den Suchergebnissen von ChatGPT oder Perplexity aus, obwohl er eigentlich nur das Training verhindern wollte.

 

2. robots.txt: Welche KI-Crawler es gibt und was ein Blockieren bewirkt

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Domain (zum Beispiel ihre-domain.de/robots.txt). Darin legen Sie fest, welche Bots welche Bereiche abrufen sollen. Die wichtigsten KI-bezogenen Kennungen laut den offiziellen Dokumentationen der Anbieter:

 

OpenAI

• GPTBot sammelt Inhalte, die für das Training der generativen KI-Modelle von OpenAI genutzt werden können. Ein Disallow signalisiert, dass Ihre Inhalte nicht für das Training verwendet werden sollen.
• OAI-SearchBot ist für die Suchfunktionen in ChatGPT zuständig. Seiten, die diesen Bot ausschließen, werden laut OpenAI nicht in ChatGPT-Suchantworten angezeigt.
• ChatGPT-User ruft Seiten auf, wenn Nutzer in ChatGPT eine Aktion auslösen. OpenAI weist darauf hin, dass robots.txt-Regeln für solche nutzerinitiierten Abrufe möglicherweise nicht gelten.

 

Anthropic (Claude)

• ClaudeBot sammelt Inhalte, die zum Training beitragen können.
• Claude-SearchBot indexiert Inhalte für die Suchqualität in Claude.
• Claude-User ruft Seiten ab, wenn Nutzer Claude eine Frage stellen.

 

Perplexity

• PerplexityBot dient laut Perplexity dazu, Websites in den Suchergebnissen von Perplexity anzuzeigen, und wird nicht für das Training von KI-Basismodellen verwendet.
• Perplexity-User ruft Seiten auf Nutzeranfrage ab und ignoriert robots.txt-Regeln nach Angaben von Perplexity in der Regel.

 

Google

• Google-Extended ist kein eigener Crawler, sondern ein Steuerungs-Token. Damit legen Sie fest, ob Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini-Apps und Vertex AI genutzt werden dürfen. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal. Die KI-Übersichten sind Teil der Google-Suche und hängen damit am regulären Googlebot.

 

Apple

• Applebot-Extended crawlt selbst nicht. Über dieses Token können Sie der Nutzung der vom Applebot gesammelten Daten für das Training von Apples Basismodellen widersprechen. Die Auffindbarkeit über Spotlight, Siri und Safari bleibt laut Apple davon unberührt.

 

Common Crawl

• CCBot baut ein frei zugängliches Web-Archiv auf, dessen Daten von Dritten weiterverwendet werden können.

Ob Sie das Training zulassen oder nicht, ist eine geschäftliche Entscheidung, keine technische. Wichtig ist nur, dass Sie sie bewusst treffen. Beachten Sie außerdem: Die robots.txt ist eine Bitte, keine Sperre. Seriöse Anbieter halten sich nach eigenen Angaben daran, technisch verhindert die Datei aber keinen Zugriff. Wer Inhalte wirklich schützen muss, braucht Zugangsbeschränkungen auf Server-Ebene. Änderungen werden zudem nicht sofort wirksam; OpenAI und Perplexity nennen etwa 24 Stunden, bis ihre Systeme eine geänderte robots.txt berücksichtigen.

 

3. llms.txt: Was die Datei leisten kann und was nicht

Neben der robots.txt wird derzeit viel über die llms.txt gesprochen. Dabei handelt es sich um einen Vorschlag, der auf llmstxt.org beschrieben ist: eine Markdown-Datei im Stammverzeichnis, die Sprachmodellen und KI-Agenten eine kompakte Übersicht über die Website gibt. Sie enthält einen Titel, eine kurze Zusammenfassung und kuratierte Links zu den wichtigsten Inhalten, idealerweise in gut maschinenlesbarer Form.

Die Idee ist nachvollziehbar: Webseiten sind für Menschen gebaut, mit Navigation, Skripten und Werbung. Eine llms.txt soll KI-Systemen den Weg zu den relevanten Informationen abkürzen. Verbreitet ist sie vor allem bei Software-Dokumentationen, und einige Content-Management-Systeme und SEO-Plugins können sie inzwischen automatisch erzeugen.

Ehrlich eingeordnet heißt das aber auch: Die llms.txt ist kein offizieller Standard, und die großen Anbieter von KI-Assistenten haben bislang nicht öffentlich bestätigt, dass sie die Datei für ihre Suche oder ihre Antworten auswerten. Es gibt keinen belastbaren Beleg dafür, dass eine llms.txt zu mehr Nennungen in KI-Antworten führt. Sie steuert zudem keinen Zugriff; das bleibt Aufgabe der robots.txt.

Mein Rat: Betrachten Sie die llms.txt als geringen Aufwand mit möglichem, aber unbewiesenem Nutzen.

Wenn Sie eine anlegen, halten Sie sie kurz, aktuell und inhaltlich deckungsgleich mit Ihrer Website. Erwarten Sie davon keine Wunder und vernachlässigen Sie dafür nicht die Grundlagen. Ob Ihre Datei formal korrekt aufgebaut ist, können Sie zum Beispiel mit unserem kostenlosen llms.txt-Check prüfen.

 

4. Typische Stolpersteine: Bot-Schutz, JavaScript-Rendering, fehlende strukturierte Daten

In der Praxis scheitert KI-Sichtbarkeit selten an einer bewussten Entscheidung, sondern an Einstellungen, die niemand auf dem Schirm hatte.

Bot-Schutz im CDN oder in der Firewall. Viele Websites laufen hinter einem Content Delivery Network oder einer Web Application Firewall. Diese können KI-Bots blockieren, bevor die robots.txt überhaupt eine Rolle spielt. Ein bekanntes Beispiel ist Cloudflare: Seit Juli 2025 werden neue Domains bei der Einrichtung gefragt, ob KI-Crawler zugelassen werden sollen, und standardmäßig ist der Zugriff eingeschränkt.

Zusätzlich gibt es Optionen, KI-Bots per Klick zu blockieren oder eine verwaltete robots.txt einzuspielen. Perplexity empfiehlt in seiner Dokumentation ausdrücklich, die eigenen Bots in der WAF freizuschalten, falls sie gesperrt werden. Prüfen Sie deshalb nicht nur die robots.txt, sondern auch die Sicherheitseinstellungen Ihres Hosters oder CDN.

JavaScript-Rendering. Wenn wesentliche Inhalte erst per JavaScript im Browser nachgeladen werden, sieht ein Bot unter Umständen nur eine fast leere Seite. Nicht jeder Crawler führt JavaScript so aus wie ein Browser. Sicherer ist es, wenn Texte, Preise und Kontaktdaten bereits im ausgelieferten HTML stehen, etwa durch serverseitiges Rendering.

Fehlende strukturierte Daten. Strukturierte Daten nach schema.org beschreiben maschinenlesbar, wer Sie sind, was Sie anbieten und wie man Sie erreicht. Sie sind kein Garant für Nennungen, erleichtern Maschinen aber die eindeutige Zuordnung von Unternehmen, Produkten und Ansprechpartnern.

Weitere Klassiker. Eine aus der Entwicklungsphase übernommene Regel Disallow: /, gesperrte CSS- und JavaScript-Dateien, Inhalte hinter Login oder Cookie-Wall, eine robots.txt, die nur auf der Hauptdomain, nicht aber auf Subdomains gepflegt wird, sowie widersprüchliche Regeln zwischen robots.txt und Meta-Robots-Angaben.

5. Prüfliste für Unternehmen zum Abhaken

Einen schnellen ersten Überblick, ob die wichtigsten KI-Crawler Ihre Website erreichen können, liefert unser kostenloser KI-Sichtbarkeits-Check. Er ersetzt keine gründliche Prüfung, zeigt aber offensichtliche Blockaden.

Fazit

Bevor Sie in Inhalte für KI-Antworten investieren, sollten Sie sicherstellen, dass KI-Systeme Ihre Website überhaupt lesen dürfen und können. Die robots.txt ist dafür das zentrale Werkzeug, doch sie wirkt nur, wenn sie zwischen Training, Suche und Nutzerabrufen unterscheidet und nicht von Firewall-Regeln ausgehebelt wird. Die llms.txt kann eine sinnvolle Ergänzung sein, ist aber kein Ersatz für saubere Grundlagen.

Titelbild: Vitaly Gariev (Pexels)

Autorenbild: Copyright nextlevels GmbH – Alle Rechte vorbehalten