KI-Crawler

KI-Crawler sind Bots, mit denen KI-Unternehmen Websites lesen: um Seiten in KI-Suchantworten zu zeigen, um eine Seite abzurufen, nach der ein Nutzer fragt, oder um Trainingsdaten zu sammeln. Beispiele sind OAI-SearchBot, GPTBot, Claude-SearchBot, ClaudeBot und PerplexityBot.


Die meisten KI-Unternehmen betreiben inzwischen getrennte Bots für getrennte Aufgaben, und jeder lässt sich in der robots.txt einzeln zulassen oder sperren.

Die wichtigsten

  • OAI-SearchBot (OpenAI): findet Seiten für die ChatGPT-Suche. Wer ihn sperrt, erscheint nicht in den Suchantworten von ChatGPT.

  • GPTBot (OpenAI): crawlt Inhalte, die für das Training von OpenAI-Modellen genutzt werden können.

  • ChatGPT-User (OpenAI): ruft eine Seite auf, wenn eine Nutzeranfrage sie braucht. Laut OpenAI gelten robots.txt-Regeln dabei unter Umständen nicht.

  • Claude-SearchBot, ClaudeBot und Claude-User (Anthropic): Suchindex, Trainingsdaten und von Nutzern ausgelöste Abrufe.

  • Google-Extended (Google): ein robots.txt-Token, das steuert, ob Inhalte für Gemini-Modelle genutzt werden. Auf die Google-Suche hat es keinen Einfluss.

Suche zulassen, über Training entscheiden

Ein verbreitetes Setup: Such-Bots zulassen, damit Assistenten dich zitieren können, und separat über Trainings-Bots entscheiden. Wer alles sperrt, verschwindet auch aus KI-Antworten.

Framer rendert jede Seite vorab als HTML, sodass auch Crawler ohne JavaScript den vollen Text bekommen, und liefert KI-Tools auf Anfrage eine Markdown-Version. Standardmässig erlaubt Framers robots.txt alle Crawler. Trueform prüft diese Einstellungen und die llms.txt-Datei bei jedem Launch.

FAQ

Soll ich GPTBot sperren?

Das ist ein geschäftlicher Entscheid über Trainingsdaten. Eine Sperre für GPTBot entfernt dich nicht aus der ChatGPT-Suche, das steuert OAI-SearchBot.

Können KI-Crawler eine Framer-Website lesen?

Ja. Framer liefert vorgerendertes HTML und eine Markdown-Version jeder optimierten Seite, und die Standard-robots.txt erlaubt Such- und KI-Crawler.

Klingt gut in der Theorie? Wir setzen es um.

Buch dir einen 30-minütigen Call mit unserem Gründer Cédric. Wir zeigen dir, wo das auf deiner Website ansetzt, mit einem klaren nächsten Schritt zu Umfang und Zeitplan.

TF emblem logo in 3D

Klingt gut in der Theorie? Wir setzen es um.

Buch dir einen 30-minütigen Call mit unserem Gründer Cédric. Wir zeigen dir, wo das auf deiner Website ansetzt, mit einem klaren nächsten Schritt zu Umfang und Zeitplan.

TF emblem logo in 3D

Klingt gut in der Theorie? Wir setzen es um.

Buch dir einen 30-minütigen Call mit unserem Gründer Cédric. Wir zeigen dir, wo das auf deiner Website ansetzt, mit einem klaren nächsten Schritt zu Umfang und Zeitplan.

TF emblem logo in 3D