Robots.txt
Die Robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht.
Die Robots.txt ist kein Sicherheitsmechanismus — sie ist eine Empfehlung an gutartige Crawler. Suchmaschinen wie Google halten sich daran, bösartige Bots ignorieren sie. Sensible Bereiche sollten daher nie nur über Robots.txt geschützt werden.
Typischer Aufbau
- User-agent — Für welchen Crawler die Regel gilt (z.B.
Googlebot,*für alle) - Disallow — Welche Pfade nicht gecrawlt werden sollen
- Allow — Ausnahmen innerhalb blockierter Bereiche
- Sitemap — Verweis auf die XML-Sitemap
Häufige Fehler
- CSS/JS blockiert — Google kann die Seite nicht rendern und bewertet sie schlechter
- Gesamte Website blockiert —
Disallow: /schließt alles von der Indexierung aus - Fehlende Robots.txt — Nicht kritisch, aber eine verpasste Chance zur Crawl-Steuerung
Was prüft exatics?
exatics prüft im SEO-Modul, ob eine Robots.txt vorhanden ist und ob sie korrekt konfiguriert ist. Problematische Einträge wie das versehentliche Blockieren der gesamten Website werden gemeldet.