Robots.txt: Was ist das?
Die robots.txt ist eine Textdatei, die auf einem Webserver oder Webhosting gespeichert wird. Die Datei ist im Wurzelverzeichnis (Root) der Website gespeichert und wird immer zuerst von einem Suchmaschinen-Bot gecrawlt. Mit Hilfe dieser Datei lässt sich festlegen, ob und welche Unterseiten oder Verzeichnisse einer Website von einem Suchmaschinen-Crawler besucht und ob diese in den Index der Suchmaschine aufgenommen werden dürfen.
Ebenfalls können mit Hilfe der robots.txt bestimmte Unterseiten vom Suchergebnis ausgeschlossen werden. Allerdings wird diese Datei von einigen Bots gern ignoriert. Daher sollte man Unterseiten, die nicht im Index erscheinen sollen, mit einem Passwort schützen. In der Suchmaschinenoptimierung wird eine Noindex-Anweisung in der robots.txt nicht empfohlen. Eine deutlich bessere Methode wäre eine Lösung über einen Meta-Robots Tag im <head>-Bereich der Website.
Beispiel:
<meta name='robots' content='noindex, nofollow,' />Ein weiterer Vorteil der Datei robots.txt ist die Möglichkeit, Crawling-Budget zu sparen, da unwichtige Verzeichnisse nicht indexiert werden müssen.
