WordPress robots.txt – Wo ist sie hin?
Viele sind auf der vergeblichen Suche nach der robots.txt in der WordPress Installation und werden leider nicht fündig. Das ist auch kein Wunder, denn WordPress erzeugt eine virtuelle robots.txt in der function.php. Leider reichen die Standardeinstellungen für die robots.txt in WordPress meistens nicht aus, deshalb empfiehlt es sich durchaus eine eigene zu erstellen.Die WordPress robots.txt, welche virtuell erstellt wird kann natürlich durch eine “Echte” ersetzt werden. Dazu wird einfach im Rootverzeichnis des Blogs eine .txt Datei mit dem Namen “robots” erstellt. Die erste Frage, welche sich viele stellen ist: Was ist eine robots.txt eigentlich? Die robots.txt regelt, einfach gesagt, die Zugriffsrechte auf alle oder einzelne Dateien im Verzeichnis der Website. Es ist zum Beispiel möglich verschiedene Bots vom Crawling auszuschließen oder es ihnen zu erlauben. Wer bei google gefunden werden möchte, der sollte zum Beispiel dem Googlebot erlauben die Dateien zu crawlen, damit diese in Google indexiert werden können.
Zur Veranschaulichung kannst du zum Beispiel die robots.txt dieser Homepage unter http://www.wie-erstelle-ich-eine-homepage.com/robots.txt aufrufen. Dessen Inhalt sieht wie folgt aus:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.wie-erstelle-ich-eine-homepage.com/sitemap.xml
Völlig unspektakulär! Mit “User-agen: *” werden grundsätzlich alle Bots erlaubt. Während mit Disallow verschiedene Unterverzeichnisse gesperrt werden. Zudem wird ein Hinweis auf die Sitemap gemacht, damit Google diese besser für die Indexierung finden kann.
Natürlich können auch einzelne Dateien von der robots.txt ausgeschlossen werden, allerdings mache ich persönlich diese Sperrung lieber direkt für die einzelnen Dateien innerhalb dieser.
WordPress robots.txt – Fazit
Einfach eine WordPress robots.txt im Rootverzeichnis erstellen, die gewünschten Befehle einfügen und die Sache ist gegessen. Wer lediglich alle Bots erlauben oder verbieten möchte, der geht besser über die WordPress -> Einstellungen -> Lesen und wählt dort die gewünschte Option unter dem Punkt “Sichtbarkeit für Suchmaschinen” aus.
