Die Adresse /robots.txt liefert nicht automatisch eine gültige Steuerdatei. Eine Weiterleitung zur Anmeldung, eine HTML-Fehlerseite oder ein vorübergehender Serverfehler können den Abruf verändern. Notiere deshalb zuerst die tatsächliche Antwort, bevor du einzelne Disallow-Zeilen untersuchst.
200, 404 und 503 auseinanderhalten
Ein 200 mit Textdatei ist ein anderer Befund als ein 404, das eine fehlende Datei meldet. Ein 503 steht dagegen für eine vorübergehend nicht verfügbare Ressource. Google behandelt die unterschiedlichen Antworten nach seinen dokumentierten robots.txt-Regeln; eine fehlende Datei und ein Serverfehler sind nicht gleichbedeutend.
curl -sS -D - https://example.invalid/robots.txt
Ersetze die Beispieladresse durch deinen Host. Kontrolliere in der Ausgabe Status, Weiterleitungsziel und Dateianfang. Beginnt der Inhalt mit einer HTML-Anmeldeseite, musst du den Auslieferungsweg korrigieren. Änderungen am Text einer Datei, die der Crawler nicht erhält, lösen diesen Befund nicht.
Teste die kanonische Domain einschließlich des tatsächlich genutzten Protokolls. Eine funktionierende Datei auf einer anderen Subdomain bestätigt nicht die Konfiguration deines Shops.
Nach einer Störung erneut prüfen
Dokumentiere, ob der Fehler nur während eines Deployments oder dauerhaft auftritt. Kontrolliere dann die betroffenen Inhaltsseiten getrennt: Ihre Erreichbarkeit lässt sich nicht aus dem robots.txt-Status ableiten. Prüfe nach der Korrektur nochmals denselben Host und den Inhaltstyp. Der Indexierbarkeits-Check hilft bei der URL-Prüfung; für Googles zuletzt erfassten Zustand verwendest du die Search Console. Die aktuellen Auslieferungsdaten und ein gespeicherter Crawlbericht können zeitlich auseinanderliegen.