SEO Robots.txt Datei

Zugriff erlauben oder verbieten

Die Suchmaschinen sind auf die Robots oder kurz Bots genannt angewiesen, vollautomatische Skripte, die selbständig Webseiten durchsuchen. Diese suchen nicht nur nach neuen Seiten, sondern durchsuchen auch schon bekannte Seiten und ihre Unterseiten und melden das gefundene Material an die Suchmaschine, wodurch es zur Indizierung kommt.

Robots.txt Datei und ihre Funktion

Es hat sich zum Standard entwickelt, dass auf dem Server im Root eine Datei namens robots.txt liegt, also eine simple Textdatei, die im gleichen Verzeichnis zu finden ist wie die Startseite des Webauftritts. Diese Datei kann Hinweise enthalten, welche Suchmaschine was durchsuchen darf. Kroteskerweise kann es auch für die Suchmaschinenoptimierung helfen, wenn man eine robots.txt-Datei auf dem Server hat, die alles erlaubt.

Noch krotesker ist, dass diverse Anwendungstools oft aufschreien, dass die robots.txt fehlt, obwohl diese für das Durchsuchen der Webseite gar nicht benötigt wird. SEO-Experten haben daher auf Domains, für die sie verantwortlich sind, stets eine robots.txt-Datei gespeichert. Nicht nur die Experten haben im Hauptverzeichnis der Domain ergo des Speichers für die Webseite diese Datei angeführt, es hat sich längst herauskristallisiert, dass diese Datei Pflicht ist.

Man kann die Datei aber auch wirklich gut nützen, indem man sensible Verzeichnise aussperrt. Dazu gibt es eigene Befehle, die beispielsweise das Verzeichnis für den Login-Bereich ausklammert. Die Bots der Suchmaschinen respektieren diese Befehle und halten sich meistens auch daran.

Normalfall bei der robots.txt

Die meisten Besitzer einer Webseite haben eine praktisch leere Datei auf ihren Server hochgeladen, die einen einzigen Inhalt aufweist und der sieht so aus:

User-agent: *
Sitemap: Adresse (URL)

Die erste Zeile informiert die Bots, dass jede Suchmaschine herzlich willkommen ist und das bedeutet gleichzeitig auch, dass keine Suchmaschine ausgeschlossen wird.

Die zweite Zeile ist optional und eine Empfehlung, dass man nämlich die Adresse zur XML-Sitemap anführt, sodass die Bots der Suchmaschinen auf jeden Fall diese Adresse kennen und regelmäßig vorbeischauen, um mögliche neue Seiten schneller und leichter zu finden. Der Eintrag muss nicht sein, er ist aber keine übliche Idee.

Was kann ich mit der robots.txt tun?

Die Datei macht mehr Sinn, als die meisten wissen, weil man damit genau steuern kann, wo die Bots arbeiten dürfen und wo nicht. Mit dem Befehl

Disallow: /internes/

sperrt man zum Beispiel die Bots vom Verzeichnis internes aus, das heißt, die dort gelagerten Dateien werden nicht durchsucht und sind somit besser geschützt. Man könnte diese Sperre auch auf bestimmte Bots reduzieren und zwar so:

User-agent: Name des Bots
Disallow: /du-nicht/

sperrt den angeführten Bot aus, aber nur in Bezug auf das Verzeichnis du-nicht. Alle anderen Verzeichnisse und Dateien dürfen durchsucht werden.

Lesen Sie auch

Das SEO-Basiswissen ist die Grundlage für eine erfolgreiche Karriere im Internet, aber trotzdem muss man aufpassen, dass man sich nicht verläuft. Es gibt zentrale Informationen, was eine Seite beinhalten soll und auch die Entscheidungen rund um die Seite. Rund um die Seite betrifft etwa die Domain, die robots.txt oder auch das Arbeiten mit der Search Console von Google.

Und dann braucht es die professionelle Arbeit auf der Seite selbst. Da beginnt beim Titel oder Seitentitel, setzt sich über die Description in den Meta-Tags fort und führt zum eigentlichen Inhalt mit Überschrift, Text und Bild. Eine interne Verlinkung darf natürlich auch nicht fehlen.

Diesen Artikel teilen

Kategorien

Grundlagen
HTML-Grundlagen
CSS-Grundlagen
Javascript-Grundlagen
PHP-Grundlagen
MySQL-Grundlagen
SEO-Grundlagen

Infos, Tipps, Vermarktung
Webdesign-Lexikon
Online-Werbung
PHP-Codeschnipsel