Robots.txt
Die Robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht.
Die Robots.txt ist kein Sicherheitsmechanismus – sie ist eine Empfehlung an gutartige Crawler. Suchmaschinen wie Google halten sich daran, bösartige Bots ignorieren sie. Sensible Bereiche sollten daher nie nur über Robots.txt geschützt werden.
Typischer Aufbau
- User-agent – Für welchen Crawler die Regel gilt (z.B.
Googlebot,*für alle) - Disallow – Welche Pfade nicht gecrawlt werden sollen
- Allow – Ausnahmen innerhalb blockierter Bereiche
- Sitemap – Verweis auf die XML-Sitemap
Häufige Fehler
- CSS/JS blockiert – Google kann die Seite nicht rendern und bewertet sie schlechter
- Gesamte Website blockiert –
Disallow: /schließt alles von der Indexierung aus - Fehlende Robots.txt – Nicht kritisch, aber eine verpasste Chance zur Crawl-Steuerung
Was prüft exatics?
exatics prüft im SEO-Modul, ob eine Robots.txt vorhanden ist und ob sie korrekt konfiguriert ist. Problematische Einträge wie das versehentliche Blockieren der gesamten Website werden gemeldet.
In der Praxis dient die Robots.txt vor allem dazu, Crawler von unwichtigen oder sensiblen Bereichen fernzuhalten — etwa Admin-Verzeichnisse, Suchergebnisseiten oder doppelte Inhalte. Wichtig: Die Robots.txt ist kein Sicherheitsmechanismus — sie ist öffentlich einsehbar und wird nicht von allen Bots respektiert. Für den Schutz sensibler Daten sind Zugangskontrollen nötig, nicht die Robots.txt.
Häufige Fragen zu Robots.txt
Was passiert, wenn meine robots.txt falsch konfiguriert ist?
Im schlimmsten Fall blockiert sie Suchmaschinen-Crawler für wichtige Seiten – diese werden dann nicht indexiert. Oder sie gibt sensible Verzeichnisse frei, die nicht öffentlich sein sollten.
Verhindert robots.txt die Indexierung?
Nein – sie verhindert nur das Crawling. Google kann eine Seite trotz Disallow indexieren, wenn sie von anderen Seiten verlinkt wird. Für echtes Deindexieren braucht man ein noindex-Meta-Tag.
Verwandte Begriffe
Ausführlicher Ratgeber: Barrierefreiheit und SEO: Warum beides zusammengehört