llms.txt und robots.txt in Shopify: So steuerst du, welche KI-Crawler deinen Shop lesen

Ob KI-Crawler deinen Shopify Shop lesen dürfen, entscheidet allein die robots.txt. Die llms.txt hingegen kann keine Zugriffe blockieren: Sie ist ein kuratiertes Inhaltsverzeichnis, das KI-Systemen deine wichtigsten Seiten zeigt. Unsere Empfehlung: Bots, die KI-Antworten mit Live-Inhalten versorgen (z. B. ChatGPT-User, PerplexityBot), freigeben, sonst taucht dein Shop in KI-Antworten nicht auf. Ob Bots für das KI-Training (z. B. GPTBot, ClaudeBot) Zugriff bekommen, ist deine bewusste Entscheidung.

Bevor irgendeine GEO-Maßnahme wirken kann, muss eine Grundvoraussetzung stimmen: KI-Systeme müssen deinen Shop überhaupt erreichen dürfen. Genau hier passieren in der Praxis die folgenreichsten Fehler, oft unbemerkt.

In diesem Guide zeigen wir aus unserer Research und Dev-Praxis, welche KI-Crawler du kennen musst, wie du robots.txt und llms.txt in Shopify sauber aufsetzt und wo versteckte Blocker lauern. Der Artikel vertieft Schritt 7 aus unserem Guide GEO für Shopify: 9 Schritte für Sichtbarkeit auf ChatGPT & Co.

1. robots.txt vs. llms.txt: Wer steuert eigentlich was?

Die Rollenverteilung ist eindeutig: Die robots.txt regelt den Zugriff, die llms.txt liefert den Kontext. Beide Dateien liegen im Root-Verzeichnis deines Shops, erfüllen aber grundverschiedene Aufgaben.

Die robots.txt ist die Türsteherin. Sie legt fest, welche Crawler deinen Shop betreten dürfen und welche Bereiche für sie gesperrt sind. Jeder seriöse Crawler, ob Googlebot oder KI-Bot, ruft diese Datei ab, bevor er eine Seite liest, und hält sich an ihre Regeln.

Die llms.txt ist dagegen ein Inhaltsverzeichnis für KI-Systeme: eine kuratierte Übersicht der wichtigsten Inhalte deiner Website im Markdown-Format. Sie hilft LLMs mit begrenztem Kontextfenster, die relevanten Seiten deines Shops schneller zu finden und korrekt zu zitieren. Sie kann Zugriffe weder erlauben noch verbieten.

Warum diese Unterscheidung für deine KI-Sichtbarkeit entscheidend ist

In unserer Research sind wir immer wieder auf dasselbe Missverständnis gestoßen: llms.txt wird als Steuerungsinstrument dargestellt, mit dem sich kontrollieren lasse, wie KI-Systeme mit Inhalten umgehen. Das ist falsch, und der Irrtum hat Konsequenzen in beide Richtungen. Wer glaubt, über die llms.txt Inhalte aus KI-Antworten herauszuhalten, hat in Wahrheit gar nichts blockiert. Und wer umgekehrt seine Sichtbarkeit verbessern will, aber in der robots.txt die falschen Bots aussperrt, dem nützt die beste llms.txt nichts.

Die Faustregel lautet also: Erst den Zugriff über die robots.txt klären, dann mit der llms.txt den Kontext optimieren. In dieser Reihenfolge gehen wir auch in diesem Guide vor.

2. Diese KI-Crawler solltest du kennen: Retrieval-Bots vs. Trainings-Bots

Nicht alle KI-Crawler tun dasselbe. Es gibt zwei Gruppen von Bots mit grundverschiedenen Aufgaben, und sie verdienen unterschiedliche Entscheidungen.

Bot	Betreiber	Funktion
OAI-SearchBot	OpenAI	Retrieval (ChatGPT Search)
ChatGPT-User	OpenAI	Retrieval (Nutzeranfragen)
PerplexityBot	Perplexity	Retrieval
Google-Extended	Google	Retrieval / KI-Features
GPTBot	OpenAI	Training
ClaudeBot	Anthropic	Training
CCBot	Common Crawl	Training (Datensammlung)

Retrieval- und Answer-Bots: Blockieren heißt aus KI-Antworten verschwinden

Retrieval-Bots holen Inhalte in dem Moment, in dem ein KI-System eine konkrete Nutzerfrage beantwortet. Fragt jemand ChatGPT nach einer Produktempfehlung, ruft der OAI-SearchBot passende Seiten live ab. Werden diese Bots blockiert, kann dein Shop in KI-Antworten schlicht nicht auftauchen, unabhängig davon, wie gut deine Inhalte sind. Wenn du KI-Sichtbarkeit aufbauen willst, müssen diese Bots Zugang haben.

Trainings-Bots: Ausschluss ist legitim, aber eine bewusste Entscheidung

Trainings-Bots sammeln Inhalte für das Training zukünftiger KI-Modelle. Hier gibt es kein pauschales Richtig oder Falsch: Manche Brands wollen nicht, dass ihre Inhalte in Trainingsdaten einfließen, und das ist eine legitime Entscheidung. Wichtig ist nur, dass sie bewusst getroffen und dokumentiert wird, damit sie bei Relaunches und Audits nachvollziehbar bleibt.

Wir beobachten oft diesen Fehler: Wer nur das KI-Training ausschließen will, greift zu pauschalen Regeln und blockiert damit versehentlich auch die Retrieval-Bots. Das Ergebnis ist das Gegenteil des Gewünschten: Die Inhalte fließen zwar nicht ins Training ein, der Shop verschwindet aber komplett aus KI-Antworten. Prüfe deshalb immer Bot für Bot, nie mit Sammelregeln.

3. robots.txt in Shopify prüfen und anpassen

Shopify erzeugt die robots.txt automatisch, und der Default ist GEO-freundlich: KI-Crawler haben standardmäßig Zugriff auf deinen Shop. Du findest die Datei unter deinshop.com/robots.txt. Der erste Schritt ist immer ein Blick in genau diese Datei: Werden dort Bots aus unserer Tabelle blockiert, und wenn ja, ist das gewollt?

Für Anpassungen stellt Shopify das Template robots.txt.liquid bereit. Damit kannst du gezielt einzelne Bots ausschließen oder freigeben, etwa wenn ein Kunde Trainings-Bots wie GPTBot und ClaudeBot blockieren, Retrieval-Bots aber offen halten will. Unsere Empfehlung: Änderungen an der robots.txt gehören dokumentiert und sollten nach jedem größeren Relaunch erneut geprüft werden, denn genau dabei gehen individuelle Regeln gern verloren.

Vorsicht bei Third-Party-Skripten

Ein Fund aus unserer Research, der uns selbst überrascht hat: In mehreren Shops wurde der Googlebot durch die robots.txt blockiert, ohne dass jemand diese Regel bewusst gesetzt hatte. Ursache war offenbar der Code einer Third-Party-App, der die Datei beeinflusst hatte.

Die Konsequenz daraus: Verlasse dich nicht darauf, dass deine robots.txt so aussieht, wie du sie hinterlassen hast. Apps und Skripte können Regeln einschleusen, die du nie getroffen hast. Prüfe die Datei deshalb regelmäßig, insbesondere nach der Installation neuer Apps, und nimm sie in jeden technischen Audit auf. Der Google Rich Results Test deckt solche Blockaden nebenbei mit auf, wie wir in unserem Guide zu strukturierten Daten in Shopify zeigen.

4. llms.txt in Shopify einrichten

Seit Ende Mai bietet Shopify eigene Templates für die llms.txt an: llms.txt.liquid und llms-full.txt.liquid. Damit lässt sich die Datei direkt im Theme pflegen und dynamisch mit Shop-Daten befüllen, ohne externe Apps oder manuelle Uploads.

Das Grundprinzip einer guten llms.txt: kuratiert statt vollständig. Die Datei ist eine Markdown-Übersicht, die LLMs die wichtigsten Inhalte deiner Website gezielt bereitstellt. Der häufigste Fehler ist, jeden Produkteintrag und jeden Blogpost aufzulisten. LLMs arbeiten mit begrenztem Kontext, und eine überladene Datei vergräbt genau die Seiten, die zitiert werden sollen. Hinein gehören:

• Shop-Beschreibung: Was verkauft die Marke, für wen, was unterscheidet sie
• Wichtigste Collections: Die zentralen Kategorien statt des gesamten Katalogs
• Zentrale Content-Seiten: Ratgeber, Pillar Pages, FAQ-Seiten
• Relevante Policies: Versand, Retouren, Garantie

Realistische Erwartungen: Der Standard ist jung

So klar unsere Empfehlung zur Einrichtung ist, so ehrlich muss die Einordnung sein: llms.txt ist ein junger Standard und wird noch nicht von allen LLM-Anbietern zuverlässig beachtet. Die Datei verbessert die Erfassung und Zitierfähigkeit deiner Inhalte dort, wo sie gelesen wird, sie ist aber keine Garantie für KI-Sichtbarkeit und ersetzt keine der technischen Grundlagen wie Rendering, strukturierte Daten oder Crawler-Freigaben.

Unsere Einordnung: Mit den Shopify-Templates ist der Aufwand inzwischen so gering, dass sich die Einrichtung trotzdem lohnt. Wer die Datei jetzt sauber aufsetzt, ist vorbereitet, wenn sich der Standard weiter durchsetzt, und riskiert nichts, wenn er es nicht tut.

5. Agentic Storefronts: Warum das Backend keine Crawler-Kontrolle bietet

Shopify hat mit den Agentic Storefronts bzw. AI Sales Channels einen eigenen Bereich im Admin geschaffen, über den Shops in KI-Kanälen wie ChatGPT sichtbar werden sollen. Naheliegend wäre die Annahme: Wer den Kanal deaktiviert, sperrt damit auch die KI-Crawler aus. Genau das ist nicht der Fall.

Die Erkenntnis aus unserer Research: Das Aktivieren erstellt lediglich einen strukturierten Storefront-Eintrag im Backend, das Deaktivieren entfernt nur diesen Eintrag. Der Shop bleibt für KI-Crawler weiterhin vollständig sichtbar und lesbar. Wer den Zugriff tatsächlich sperren will, kommt an einer Code-Anpassung in der robots.txt nicht vorbei. Das Backend täuscht hier eine Kontrolle vor, die es nicht hat.

Für die Praxis heißt das: Behandle die Agentic-Storefront-Einstellungen und die Crawler-Steuerung als zwei getrennte Themen. Ersteres regelt die Teilnahme an Shopifys KI-Kanälen, letzteres den Zugriff auf deine Inhalte, und nur die robots.txt entscheidet über den Zugriff.

Zur Einordnung des Features selbst: Nach unseren Tests ist es aktuell regional eingeschränkt, in Teilen intransparent und für den deutschen Markt noch nicht ausgereift. Wir beobachten die Entwicklung im Rahmen laufend, empfehlen es derzeit aber nicht als aktiven Optimierungshebel.

6. Wenn robots.txt erlaubt, aber trotzdem nichts ankommt: WAF und Bot-Protection

Es gibt einen Blocker, den die robots.txt gar nicht sehen kann: Security-Layer wie Web Application Firewalls (WAF), Bot-Protection oder CDN-Regeln. Sie sitzen vor deinem Shop und können KI-Crawler abweisen, obwohl die robots.txt den Zugriff ausdrücklich erlaubt. Der Crawler erhält dann statt der Seite einen Fehlercode wie 403 (Zugriff verweigert) oder 429 (zu viele Anfragen).

Das Tückische daran: Von außen sieht alles korrekt aus. Die robots.txt ist sauber, die Freigaben stimmen, und trotzdem kommen die Inhalte bei den KI-Systemen nie an. Gerade Bot-Protection-Regeln sind oft darauf trainiert, automatisierten Traffic pauschal zu drosseln, und KI-Crawler sind aus ihrer Sicht genau das.

Deshalb gehört in jeden gründlichen Check ein Live-Zugriffstest: Prüfe je relevantem Bot, welchen Statuscode dein Shop tatsächlich zurückliefert. Erst ein Statuscode 200 bestätigt, dass der Crawler wirklich durchkommt. In unserer GEO-Checkliste ist dieser Test als eigener Prüfpunkt verankert, dokumentiert als Statuscode-Protokoll je Bot.

Unsere Empfehlung: Kläre bei jedem Setup, ob eine WAF, Bot-Protection oder ein CDN vor dem Shop liegt und mit welchen Regeln. Bei reinen Shopify-Standard-Setups ist das selten ein Problem, aber sobald zusätzliche Security-Dienste im Spiel sind, ist der Live-Test Pflicht.

7. Häufige Fehler bei der KI-Crawler-Steuerung

Die meisten Sichtbarkeitsprobleme, die uns bei diesem Thema begegnen, gehen auf fünf wiederkehrende Fehler zurück:

• Veraltete Bot-Namen: Die robots.txt referenziert Crawler-Namen, die es so nicht mehr gibt, etwa „anthropic-ai" statt ClaudeBot. Die Regel läuft dann ins Leere, und der tatsächliche Bot bleibt ungesteuert. Prüfe die aktuellen Bot-Namen direkt in den Dokumentationen der Anbieter.
• Pauschale Blockregeln: Sammelregeln, die alle KI-Bots gleich behandeln, treffen Retrieval- und Trainings-Bots gleichermaßen. Wer nur das Training ausschließen wollte, verschwindet so komplett aus KI-Antworten. Entscheide immer Bot für Bot.
• llms.txt als Blocker missverstanden: Die llms.txt kann keine Zugriffe verhindern. Wer Inhalte aus KI-Systemen heraushalten will und dafür auf die llms.txt setzt, hat faktisch nichts blockiert.
• Backend-Schalter als Scheinkontrolle: Das Deaktivieren der Agentic Storefronts im Shopify Admin blockt keine KI-Crawler. Die einzige wirksame Zugriffssteuerung ist die robots.txt.
• Ungeprüfte Security-Layer: WAF, Bot-Protection oder CDN-Regeln blockieren Crawler trotz sauberer robots.txt. Ohne Live-Zugriffstest mit Statuscode-Prüfung bleibt diese Blockade unsichtbar.

Unsere Empfehlung: Nimm diese fünf Punkte als festen Prüfblock auf und wiederhole die Prüfung nach Relaunches, App-Installationen und Änderungen am Security-Setup. Crawler-Steuerung ist kein einmaliges Setup, sondern ein Zustand, der sich unbemerkt ändern kann.

8. Fazit: Bewusst entscheiden statt zufällig blockieren

Die Steuerung von KI-Crawlern ist keine komplexe Technik, aber sie verlangt bewusste Entscheidungen. Die meisten Shops blockieren oder erlauben heute zufällig, durch Altlasten, Sammelregeln oder App-Code. So gehst du stattdessen vor:

• Prüfen: Öffne deinshop.com/robots.txt und gleiche die Einträge mit den aktuellen Bot-Namen ab. Kläre zusätzlich, ob WAF, Bot-Protection oder CDN vor dem Shop liegen.
• Entscheiden: Gib Retrieval-Bots frei, wenn du KI-Sichtbarkeit willst. Triff für Trainings-Bots eine bewusste Entscheidung je Bot statt pauschaler Regeln.
• Dokumentieren: Halte jede Entscheidung und jede Änderung an der robots.txt fest, damit sie Relaunches und Teamwechsel übersteht.
• Testen: Verifiziere per Live-Zugriffstest, dass freigegebene Bots tatsächlich Statuscode 200 erhalten. Wiederhole die Prüfung nach Relaunches und neuen Apps.
• Kontext liefern: Richte anschließend die llms.txt über die Shopify-Templates ein, kuratiert statt vollständig.

Damit ist der Zugriff geregelt, die Grundvoraussetzung für alles Weitere. Ob KI-Systeme deine Inhalte dann auch korrekt verstehen und zitieren, entscheiden die nächsten Ebenen: sauberes Rendering, strukturierte Daten und answer-first Content. Wie alle Maßnahmen zusammenspielen, zeigen wir in unserem Guide GEO für Shopify: 9 Schritte für Sichtbarkeit auf ChatGPT & Co.