Jede Website hat Besuch, den man nicht sieht: Programme, die Seiten automatisch abrufen. Manche davon bauen den Suchindex von Google auf, andere sammeln Texte für KI-Modelle. Mit welchen Regeln Sie diesen Besuch lenken, steht in einer schlichten Textdatei namens robots.txt. Ende Oktober hat Google angekündigt, diese Datei künftig auch für eine gemeinsame Regel zum KI-Training mehrerer Anbieter zu nutzen. Ein guter Anlass, sich die eigene Datei einmal genauer anzusehen.
Worum es geht
Die robots.txt liegt immer im Hauptverzeichnis einer Domain, also zum Beispiel unter ihre-domain.at/robots.txt. Seit 2022 ist das zugrunde liegende Robots Exclusion Protocol als Internet-Standard beschrieben, im Dokument RFC 9309 der IETF. Der Aufbau ist einfach: Eine Zeile „User-agent“ nennt das Programm, für das die folgenden Regeln gelten. Darunter legen „Disallow“ und „Allow“ fest, welche Pfade es abrufen darf und welche nicht. Ein Stern steht für alle Programme. Zusätzlich kann die Datei auf Ihre Sitemap verweisen.
Wichtig ist, was die Datei nicht leistet. Google schreibt in seiner Einführung zur robots.txt ausdrücklich, dass sie vor allem dazu dient, die Last durch Crawler zu steuern. Sie ist kein Werkzeug, um Seiten aus der Suche zu entfernen. Eine gesperrte Adresse kann trotzdem in den Ergebnissen auftauchen, etwa wenn andere Websites darauf verlinken; sie erscheint dann nur ohne Beschreibung. Wer eine Seite wirklich aus Google heraushalten will, braucht eine noindex-Angabe oder einen Passwortschutz. Und: Seriöse Crawler halten sich an die Regeln, verpflichtet sind sie dazu nicht. Vertrauliche Inhalte gehören deshalb nie nur hinter eine Zeile in der robots.txt.
Neu ist der Blick auf künstliche Intelligenz. Google bietet seit 2023 die Kennung Google-Extended an. Sperren Sie diese Kennung, dürfen Inhalte, die Google von Ihrer Website abruft, nicht zum Training künftiger Gemini-Modelle verwendet werden. Laut der Übersicht der Google-Crawler hat diese Sperre keinen Einfluss darauf, ob Ihre Seiten in der Google-Suche erscheinen, und sie ist auch kein Rankingsignal.
Am 30. Oktober 2026 hat Google im Search Central Blog einen Schritt weiter angekündigt. Die Arbeitsgruppe AI Preferences (AIPREF) der IETF entwickelt eine gemeinsame Sprache, mit der Websites ihre Wünsche zur KI-Nutzung ausdrücken. Darauf aufbauend soll es in der robots.txt einen gemeinsamen Eintrag geben, mit dem Sie das KI-Training bei allen teilnehmenden Anbietern auf einmal ablehnen. Google will einen solchen Widerspruch so behandeln, als hätten Sie Google-Extended gesperrt, sofern Sie für Google-Extended nichts anderes festgelegt haben. Die Unterstützung ist für Anfang 2027 geplant; Google nennt dafür den Eintrag „User-agent: __usage_ai-training“. Es handelt sich noch um einen Entwurf, Details können sich bis dahin ändern.
Was das für Betriebe in Österreich heißt
Für die meisten Betriebe in Österreich ist die wichtigste Frage nicht die KI, sondern die Suche. Ein Hotel am Wörthersee, ein Installateur in Leoben oder eine Ordination in Innsbruck lebt davon, gefunden zu werden. Ein falscher Eintrag in der robots.txt kann genau das verhindern. Wir sehen in der Praxis immer wieder dieselben Fehler:
- Nach einem Relaunch bleibt die Sperre der Testumgebung stehen. Ein einzelnes „Disallow: /“ für alle Programme hält dann auch Google von der neuen Website fern.
- Stylesheets, Skripte oder Bilder werden gesperrt. Google kann die Seite dann nicht so darstellen, wie Ihre Besucher sie sehen, und versteht sie schlechter.
- Seiten mit persönlichen Daten oder interne Bereiche werden nur über die robots.txt „versteckt“. Die Datei ist öffentlich lesbar und zeigt damit sogar, wo es etwas zu holen gibt.
- Eine Seite soll aus Google verschwinden und wird deshalb gesperrt. Dann kann Google die noindex-Angabe auf der Seite gar nicht mehr lesen, und die Adresse bleibt womöglich im Index.
Beim Thema KI lohnt eine bewusste Entscheidung statt eines Reflexes. Ein Tourismusbetrieb oder ein Handwerksbetrieb will in der Regel, dass seine Angebote überall auftauchen, wo Menschen nach Antworten suchen. Dazu gehören zunehmend auch KI-Assistenten. Google weist darauf hin, dass Websites, die Google-Extended ausdrücklich erlauben, in Antworten der Gemini-Apps erscheinen und Klicks erhalten können. Anders sieht es aus, wenn Ihre Inhalte selbst das Produkt sind: Fachartikel, eigene Fotos, Rezepte oder Ratgebertexte, in die viel Arbeit geflossen ist. Dann kann es sinnvoll sein, das Training abzulehnen. Beides ist legitim, wichtig ist nur, dass Sie es wissen und festlegen.
Was Sie jetzt tun können
Sie brauchen dafür keine Programmierkenntnisse. Mit diesen Schritten verschaffen Sie sich einen Überblick:
- Datei ansehen: Rufen Sie ihre-domain.at/robots.txt im Browser auf. Fehlt die Datei, dürfen alle Programme alles abrufen. Das ist für viele kleine Websites in Ordnung.
- Sperren prüfen: Steht bei „User-agent: *“ ein „Disallow: /“, ist Ihre ganze Website für Suchmaschinen gesperrt. Das sollte nur auf Testumgebungen so sein.
- Search Console nutzen: In der Google Search Console zeigt der robots.txt-Bericht, welche Fassung Google zuletzt gelesen hat und ob es Fehler gibt.
- Sitemap ergänzen: Eine Zeile „Sitemap:“ mit der vollständigen Adresse Ihrer Sitemap hilft Suchmaschinen, neue Seiten schneller zu finden.
- KI-Haltung festlegen: Entscheiden Sie, ob Ihre Inhalte für KI-Training genutzt werden dürfen. Wer bei Google widersprechen will, ergänzt heute eine eigene Gruppe mit „User-agent: Google-Extended“ und „Disallow: /“. Die Suche bleibt davon unberührt.
- Vormerken für 2027: Sobald Google und andere Anbieter den gemeinsamen Eintrag unterstützen, können Sie mit einer Regel für mehrere Anbieter gleichzeitig entscheiden. Bis dahin gelten die einzelnen Kennungen.
Ändern Sie die Datei mit Vorsicht und kontrollieren Sie nach jeder Änderung, ob Ihre wichtigsten Seiten weiter erreichbar sind. Bei unseren Kundinnen und Kunden gehört dieser Blick zur laufenden Suchmaschinenoptimierung und zu jedem Relaunch.
Häufige Fragen
Verbessert eine robots.txt mein Ranking?
Nicht direkt. Sie sorgt dafür, dass Suchmaschinen ihre Zeit auf die richtigen Seiten verwenden. Bei kleinen Websites mit wenigen Dutzend Seiten ist dieser Effekt gering. Wichtiger ist, dass die Datei nichts Wichtiges versehentlich sperrt.
Verschwinde ich aus Google, wenn ich Google-Extended sperre?
Nein. Google-Extended steuert nur, ob Inhalte für das Training von Gemini-Modellen verwendet werden dürfen. Laut Google beeinflusst die Kennung weder die Aufnahme in die Suche noch das Ranking.
Ab wann gilt die neue gemeinsame KI-Regel?
Google hat die Unterstützung für Anfang 2027 angekündigt. Der Eintrag beruht auf einem Entwurf der IETF-Arbeitsgruppe AIPREF und kann sich bis dahin noch ändern. Bis zur Einführung nutzen Sie die Kennungen der einzelnen Anbieter.
Halten sich alle KI-Anbieter an die robots.txt?
Darauf verlassen können Sie sich nicht. Die Datei ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran. Inhalte, die niemand abrufen soll, schützen Sie mit einem Login oder einer Sperre am Server.