robots.txt

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Domain (example.com/robots.txt), die Crawlern wie Suchmaschinen und KI-Bots sagt, welche Bereiche einer Website sie crawlen dürfen.


Jede Regel nennt einen User-Agent, etwa Googlebot oder OAI-SearchBot, und die Pfade, die er crawlen darf oder nicht. Die Datei kann auch auf die XML-Sitemap verweisen.

Beispiel

User-agent: * und Allow: / lassen jeden Crawler zu. Mit User-agent: GPTBot und Disallow: / sperrst du nur OpenAIs Trainings-Crawler, während die ChatGPT-Suche die Website über OAI-SearchBot weiterhin findet. Die wichtigsten Bot-Namen stehen unter KI-Crawler.

Was die robots.txt nicht kann

  • Sie entfernt keine Seite aus den Suchergebnissen. Dafür gibt es das noindex-Tag, und die Seite muss crawlbar bleiben, damit das Tag gelesen wird.

  • Sie ist keine Zugriffskontrolle. Seriöse Bots halten sich daran, andere vielleicht nicht.

  • Sie ist nicht dasselbe wie die llms.txt, die eine Website für Sprachmodelle zusammenfasst, statt Regeln festzulegen.

Framer erstellt für jede veröffentlichte Website eine robots.txt, die standardmässig alle Such- und KI-Crawler erlaubt. In den Plänen Pro und Enterprise lässt sie sich über Static Files durch eine eigene Datei ersetzen. Trueform prüft robots.txt, noindex-Einstellungen und Redirects vor jedem Launch und jeder Migration.

FAQ

Wo finde ich meine robots.txt?

Hänge /robots.txt an deine Domain an, zum Beispiel trueform.agency/robots.txt. Jede Website, die eine hat, liefert sie unter genau diesem Pfad aus.

Kann ich die robots.txt in Framer bearbeiten?

Ja. Framer erstellt sie automatisch, und in den Plänen Pro und Enterprise kannst du über Static Files eine eigene robots.txt hochladen. Sie ersetzt dann die generierte Datei.

Klingt gut in der Theorie? Wir setzen es um.

Buch dir einen 30-minütigen Call mit unserem Gründer Cédric. Wir zeigen dir, wo das auf deiner Website ansetzt, mit einem klaren nächsten Schritt zu Umfang und Zeitplan.

TF emblem logo in 3D

Klingt gut in der Theorie? Wir setzen es um.

Buch dir einen 30-minütigen Call mit unserem Gründer Cédric. Wir zeigen dir, wo das auf deiner Website ansetzt, mit einem klaren nächsten Schritt zu Umfang und Zeitplan.

TF emblem logo in 3D

Klingt gut in der Theorie? Wir setzen es um.

Buch dir einen 30-minütigen Call mit unserem Gründer Cédric. Wir zeigen dir, wo das auf deiner Website ansetzt, mit einem klaren nächsten Schritt zu Umfang und Zeitplan.

TF emblem logo in 3D