Google Deindexierung durch Fehler 500 beim Aufruf der robots.txt

Google bietet mit dem site: Parameter die Möglichkeit, alle indexierten Seiten einer Domain anzuzeigen.

Das Ergebnis ist in diesem Fall, dass keine einzige Seite indexiert ist.

Es ist keine robots.txt vorhanden, daher kann diese den Zugriff auf die Seite auch nicht sperren. Das habe ich direkt auf dem Server überprüft.

Im Screenshot sieht man, dass Bing zum gleichen Ergebnis gekommen ist.

Die XML-Sitemap ist erreichbar und enthält keine Fehler.

Mit StreamingFrog habe ich dann die Indexierbarkeit geprüft. Das Ergebnis war hier, dass alle Seiten die indexierbar sein sollen, auch indexierbar sind.

Um zu überprüfen, ob dieses Problem "nur" bei Google auftritt oder ob es ein generelles Problem ist, habe ich die Indexierung zusätzlich in Bing geprüft.

In Bing war die Seite indexiert und auffindbar.

Für die Prüfung der Indexierung Seitens Google und Bings wollte ich die Tools von Google und Bing nutzen. Sowohl die Google Search Console als auch die Bing Webmaster Tools waren nicht eingerichtet. Ich empfehle jedem nicht auf diese kostenfreien Informationsquellen zu verzichten.

Mit StreamingFrog habe ich den Indexierungs-Status der Google Search Console überprüft. Der Status war bei allen indexierbaren Seiten derselbe "URL is is unknown to Google".

In der Google Search Console wurde zusätzlich geprüft, ob manuelle Maßnahmen eingeleitet wurden. Laut der GSC gabe es auch hier keine Probleme.

Manuelle Maßnahmen werden gegen eine Website angewant, wenn die Google Qualitätsrichtlinien für Webmaster nicht eingehalten werden.

Manuelle Maßnahme deshalb, weil das ein Mitarbeiter von Google manuell bearbeitet und geprüft hat. Sozusagen ein Crawler aus Fleisch und Blut.

Mit Rexswain wurden die Header überprüft.

Der Reiter Netzwerk in den Chrome Entwicklertools hat dann das Rätsel aufgelöst. Die robots.txt existiert zwar nicht, doch gibt diese Website einen Fehler 500 als Antwort anstelle eines Fehler 404.

Laut einem Bericht von SEO Südwest dürfte das zwar nicht mehr der Fall sein, allerdings habe ich genau dieses Verhalten beobachtet und dokumentiert.