Was ist ein User Agent?

Ein User Agent ist quasi der Name, mit dem sich ein Programm bei einem Webserver anmeldet, um Informationen (Dokumente) abrufen zu können. Dieser Name wird durch den HTTP-Header an den Server übermittelt. Durch den User Agent sind die zugreifenden Software-Programme identifizierbar. Als Beispiel kann man den Google-Bot nehmen, der sich durch seinen User-Agent anmeldet und in daher den Server-Logs als Google Bot erkennbar ist.

Der User Agent ist hilfreich für die SEO

Anhand des User Agent kannst Du in den Logfiles des Webservers genau erkennen, wann ein Suchmaschinen-Robot Deine Website besucht hat. Ebenfalls kannst Du prüfen, wie viele und welche Seiten er aufgerufen hat. Der Name des User Agents ist frei wählbar. Bots wird es dadurch ermöglicht, sich tarnen zu können. Dadurch ist es dem Google Bot möglich, mithilfe einer falschen Identität eine Spam-Website identifizieren und eventuell aus dem Index zu nehmen.

Auch Browser übermitteln einen User Agent

Doch nicht nur Suchmaschinen-Programme übermitteln einen User-Agent, sondern auch ein Webbrowser. Das ermöglicht Web-Analyse Programmen wie Google Analytics zu analysieren, welche Browser Deine Besucher am häufigsten einsetzen.

Verschiedene Arten von User Agents

Webbrowser wie Google Chrome, Mozillas Firefox, Safari und Opera sind weitere Beispiele für Software-Programme, die User Agents übermitteln. Andere Anwendungen melden sich ebenfalls mit einem User Agent an Servern an.

Einige Beipiele:

  • Crawler: Googlebot, Yahoo! Slurp, MSN-Bot
  • Spielekonsolen: PlayStation, Wii, PlayStation Portable und Bunjalloo (der Browser des Nintendo DS)
  • Link Checker: z.B. W3C-Checklink
  • SEO Tools / Onpage Crawler: zum Beispiel Sistrix, SEMRush, Ryte, PageRangers
  • Web-Anwendungen: Flash Player, Adobe Acrobat Reader, Feed-Reader, Screen-Reader, Validatoren, Media-Player, Streaming-Portale

Nicht alle User-Agents werden dabei von Menschen gesteuert oder instruiert. Suchmaschinen-Crawler wie Googles RankBrain sind ein Beispiel für Benutzeragenten, die weitgehend automatisiert Webseiten besuchen.

Vorheriger Beitrag
Crawler
Nächster Beitrag
Duplicate Content
Menü