robots.txt
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Domain (example.com/robots.txt), die Crawlern wie Suchmaschinen und KI-Bots sagt, welche Bereiche einer Website sie crawlen dürfen.
Jede Regel nennt einen User-Agent, etwa Googlebot oder OAI-SearchBot, und die Pfade, die er crawlen darf oder nicht. Die Datei kann auch auf die XML-Sitemap verweisen.
Beispiel
User-agent: * und Allow: / lassen jeden Crawler zu. Mit User-agent: GPTBot und Disallow: / sperrst du nur OpenAIs Trainings-Crawler, während die ChatGPT-Suche die Website über OAI-SearchBot weiterhin findet. Die wichtigsten Bot-Namen stehen unter KI-Crawler.
Was die robots.txt nicht kann
Sie entfernt keine Seite aus den Suchergebnissen. Dafür gibt es das noindex-Tag, und die Seite muss crawlbar bleiben, damit das Tag gelesen wird.
Sie ist keine Zugriffskontrolle. Seriöse Bots halten sich daran, andere vielleicht nicht.
Sie ist nicht dasselbe wie die llms.txt, die eine Website für Sprachmodelle zusammenfasst, statt Regeln festzulegen.
Framer erstellt für jede veröffentlichte Website eine robots.txt, die standardmässig alle Such- und KI-Crawler erlaubt. In den Plänen Pro und Enterprise lässt sie sich über Static Files durch eine eigene Datei ersetzen. Trueform prüft robots.txt, noindex-Einstellungen und Redirects vor jedem Launch und jeder Migration.
FAQ
Wo finde ich meine robots.txt?
Hänge /robots.txt an deine Domain an, zum Beispiel trueform.agency/robots.txt. Jede Website, die eine hat, liefert sie unter genau diesem Pfad aus.
Kann ich die robots.txt in Framer bearbeiten?
Ja. Framer erstellt sie automatisch, und in den Plänen Pro und Enterprise kannst du über Static Files eine eigene robots.txt hochladen. Sie ersetzt dann die generierte Datei.
Verwandte Begriffe
KI-Crawler
KI-Crawler sind Bots, mit denen KI-Unternehmen Websites lesen: um Seiten in KI-Suchantworten zu zeigen, um eine Seite abzurufen, nach der ein Nutzer fragt, oder um Trainingsdaten zu sammeln. Beispiele sind OAI-SearchBot, GPTBot, Claude-SearchBot, ClaudeBot und PerplexityBot.
llms.txt
llms.txt ist ein vorgeschlagener Standard für eine einfache Markdown-Datei im Stammverzeichnis einer Website (/llms.txt), die Large Language Models eine kurze, kuratierte Zusammenfassung der Website und Links zu den wichtigsten Seiten gibt.
Website-Migration
Eine Website-Migration ist der Umzug einer Website auf eine neue Plattform, Domain, Struktur oder ein neues Design, zum Beispiel von WordPress oder Webflow zu Framer, ohne Inhalte, Rankings und Integrationen zu verlieren.
Passend bei Trueform:
