KI-Crawler
KI-Crawler sind Bots, mit denen KI-Unternehmen Websites lesen: um Seiten in KI-Suchantworten zu zeigen, um eine Seite abzurufen, nach der ein Nutzer fragt, oder um Trainingsdaten zu sammeln. Beispiele sind OAI-SearchBot, GPTBot, Claude-SearchBot, ClaudeBot und PerplexityBot.
Die meisten KI-Unternehmen betreiben inzwischen getrennte Bots für getrennte Aufgaben, und jeder lässt sich in der robots.txt einzeln zulassen oder sperren.
Die wichtigsten
OAI-SearchBot (OpenAI): findet Seiten für die ChatGPT-Suche. Wer ihn sperrt, erscheint nicht in den Suchantworten von ChatGPT.
GPTBot (OpenAI): crawlt Inhalte, die für das Training von OpenAI-Modellen genutzt werden können.
ChatGPT-User (OpenAI): ruft eine Seite auf, wenn eine Nutzeranfrage sie braucht. Laut OpenAI gelten robots.txt-Regeln dabei unter Umständen nicht.
Claude-SearchBot, ClaudeBot und Claude-User (Anthropic): Suchindex, Trainingsdaten und von Nutzern ausgelöste Abrufe.
Google-Extended (Google): ein robots.txt-Token, das steuert, ob Inhalte für Gemini-Modelle genutzt werden. Auf die Google-Suche hat es keinen Einfluss.
Suche zulassen, über Training entscheiden
Ein verbreitetes Setup: Such-Bots zulassen, damit Assistenten dich zitieren können, und separat über Trainings-Bots entscheiden. Wer alles sperrt, verschwindet auch aus KI-Antworten.
Framer rendert jede Seite vorab als HTML, sodass auch Crawler ohne JavaScript den vollen Text bekommen, und liefert KI-Tools auf Anfrage eine Markdown-Version. Standardmässig erlaubt Framers robots.txt alle Crawler. Trueform prüft diese Einstellungen und die llms.txt-Datei bei jedem Launch.
FAQ
Soll ich GPTBot sperren?
Das ist ein geschäftlicher Entscheid über Trainingsdaten. Eine Sperre für GPTBot entfernt dich nicht aus der ChatGPT-Suche, das steuert OAI-SearchBot.
Können KI-Crawler eine Framer-Website lesen?
Ja. Framer liefert vorgerendertes HTML und eine Markdown-Version jeder optimierten Seite, und die Standard-robots.txt erlaubt Such- und KI-Crawler.
Verwandte Begriffe
robots.txt
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Domain (example.com/robots.txt), die Crawlern wie Suchmaschinen und KI-Bots sagt, welche Bereiche einer Website sie crawlen dürfen.
llms.txt
llms.txt ist ein vorgeschlagener Standard für eine einfache Markdown-Datei im Stammverzeichnis einer Website (/llms.txt), die Large Language Models eine kurze, kuratierte Zusammenfassung der Website und Links zu den wichtigsten Seiten gibt.
Generative Engine Optimization (GEO)
Generative Engine Optimization (GEO) ist die Optimierung von Inhalten, damit generative KI-Systeme wie ChatGPT, Claude, Gemini oder Perplexity sie beim Formulieren einer Antwort nutzen und zitieren.
AI Visibility (KI-Sichtbarkeit)
AI Visibility beschreibt, wie oft und wie korrekt KI-Assistenten wie ChatGPT, Claude, Gemini, Perplexity und Copilot deine Marke erwähnen, beschreiben und zitieren, wenn jemand Fragen zu deiner Kategorie stellt.
Passend bei Trueform:
