Crawl Budget. Was ist das?

Ein Crawl Budget ist die Anzahl von Seiten, die Google auf einer Website maximal crawlt. Google legt für jede Website fest, wie viele Seiten pro Domain von den Crawlern der Suchmaschine regelmäßig besucht, also crawlt. Dies ist für jede Webseite unterschiedlich und wird vom PageRank einer Domain bestimmt, wie Matt Cutts von Google in einem Interview äußerte.

Ein höherer PageRank zieht auch ein größeres Crawl-Budget nach sich. Es legt ebenfalls fest, wie häufig die Website von den Bots besucht wird und wie tief-gehend der Crawl sein wird. Eine Voraussetzung dafür ist eine optimale Crawlability.

Aber: Große Webseiten haben ein Problem

Das Problem des Crawl Budget für größere Webseiten mit vielen Unterseiten ist, dass im Regelfall nicht alle URLs gecrawlt werden, sondern nur ein Teil dessen. Das bedeutet dementsprechend, dass nicht alle Unterseiten auch indexiert werden können, da ja nicht alle Seiten besucht (gecawlt) werden. Dadurch entgeht einem Webmaster einer großen Webseite etliches an Besucherverkehr, den er jedoch haben würde, wenn alle Seiten besucht und indexiert werden würden.

Natürlich kann man sich hier abhelfen, in dem man neue Seiten in der Google Search Console manuell indexieren lässt. Bei vielen gleichzeitig veröffentlichten Seiten kann das jedoch mühsam werden.

Die Bedeutung des Crawl Budget in der Suchmaschinenoptimierung

Ein Teilbereich der Suchmaschinenoptimierung ist die Crawl Optimization. Hierbei soll der Suchmaschinen-Bot dazu gebracht werden, das vorhandene Crawl Budget möglichst optimal auszunutzen und Unterseiten mit hoher Qualität zu crawlen und indexieren. Denn diese Seiten werden zukünftig sehr viel Traffic auf die Website bringen.

Bei der Crawl Optimization identifiziert man zuerst die Seiten, die von minderer Qualität sind und wenig Bedeutung besitzen. Diese Seiten werden vom Crawling ausgeschlossen, damit mehr Budget für die wichtigen Seiten bleibt. Im Anschluss werden wichtige und hochwertige Seiten speziell gestaltet, damit sie vom Crawler bevorzugt besucht werden.

Maßnahmen der Crawl Optimization

Eine flache Seitenarchitektur ist die Basis der Crawl Optimization. Ohne sie sind alle weiteren Maßnahmen der Crawl-Optimierung nicht sinnvoll. Eine flache und übersichtliche Struktur – auch Informationsarchitektur genannt – ist vorteilhaft für User und Suchmaschine.

• Schaffung einer Seitenstruktur, bei der die Unterseiten mit möglichst wenig Klicks erreichbar sind (flache Seitenarchitektur)
• Schaffung einer optimalen internen Verlinkung gerade bei den wichtigen Seiten
• Einreichung einer XML-Sitemap mit den wichtigsten Unterseiten
• Identifizierung der Seiten mit den meisten Backlinks. Verlinkung von dort auf die wichtigen Seiten
• Verbot des Crawlings von unwichtigen Seiten durch die robots.txt Datei
• Links auf unwichtige Seiten mit nofollow auszeichnen
• Verbot der Indexierung unwichtiger Seiten mithilfe von »noindex, nofollow«
• Regelmäßige Veröffentlichung hochwertiger Inhalte
  Wenn regelmäßig neue Inhalte veröffentlicht werden, wird der Googlebot einer Seite mehr Aufmerksamkeit schenken. Die Website wird häufiger gecrawlt und das Crawl-Budget wird dadurch erweitert. Durch das Einfügen von aktualisierten oder ergänzten Inhalten auf einer Website wird auch die Relevanz in Bezug auf die Aktualität der Website gesteigert, was von Google positiv bewertet wird. Daher ist es ratsam, regelmäßig neue Inhalte zu erstellen (qualitativ hochwertig) und auf der Website zu veröffentlichen, um das Ranking und die Sichtbarkeit in den Suchergebnissen zu verbessern.
• Ein schneller Server
  Der Googlebot verbringt nur eine begrenzte Zeit mit dem Crawlen einer Website. Je schneller der Server ist, desto mehr Seiten kann der Bot innerhalb dieser begrenzten Zeit erfassen. Die Ladezeit einer Website ist nicht nur für die Benutzerfreundlichkeit (Usability) wichtig, sondern auch um das Budget zu erhöhen.

Beispiel Links mit nofollow

<a href="http://beispiel.de/" rel="nofollow">Irgend ein Text</a>

Beispiel für den Meta-Tag Einsatz in der Crawl Optimization

<meta name="robots" content="noindex, nofollow"/>

Tracking der Crawl Budget Optimierung

Wenn es wirklich ernst sein soll mit der Optimierung der Crawl-Zugriffe, dann reichen normale SEO Tools nicht mehr für ein verlässliches Tracking aus. Wirklich aussagekräftig hingegen sind die Server-Logfiles, die jeden Zugriff von Usern und Bots, sowie Crawlern festhält. Dort findet man die vollständigen Zugriffe von Suchmaschinen-Crawlern, sieht, wie oft sie die Seite besuchen, welche Pfade sie wählen und welche Unterseiten gelesen werden. Diese Daten geben dann Rückschlüsse auf eventuelles Optimierungs-Potenzial.

Fazit:

Gute Crawl Optimization verbessert eindeutig die Anzahl an gecrawlten und indexierten Seiten. Gut gemacht kann sich dadurch das Ranking verbessern. Die Sichtbarkeit wird definitiv ansteigen, weil das Crawl Budget nun für die wirklich wichtigen Seiten genutzt wird. Und: Seiten mit guten Rankings werden öfter gecrawlt als andere.