Crawl Budget – Was bedeutet das?

Definition Crawl Budget

Unter Crawl Budget versteht man die Anzahl der Seiten, die von dem Googlebot auf einer Webseite maximal gecrawlt werden. Allerdings werden pro Webseite unterschiedlich viele Seiten gecrawlt. Das ist abhängig vom PageRank einer Seite, wie Matt Cutts in einem Interview mit Stone Temple (jetzt Perficient) bestätigt:

“The best way to think about it is that the number of pages that we crawl is roughly proportional to your PageRank. So if you have a lot of incoming links on your root page, we’ll definitely crawl that. Then your root page may link to other pages, and those will get PageRank and we’ll crawl those as well. As you get deeper and deeper in your site, however, PageRank tends to decline.”

https://blogs.perficient.com/2010/03/14/matt-cutts-interviewed-by-eric-enge-2/

Das Crawl Budget setzt sich zusammen aus der maximalen Anzahl der Seiten, die vom Googlebot gecrawlt werden können und wollen.

Daraus ergibt sich folgende Formel:

Crawl Frequenz + Crawl Bedarf = Crawl Budget

Je höher der PageRank einer Seite ist, desto mehr Crawl Budget hat der Seite zur Verfügung. Zudem entscheidet das Crawl Budget, wie oft die relevantesten Seiten einer Webseite gecrawlt werden und wie häufig tiefgründig gecrawlt wird.

Die Crawl Frequenz gibt an, wie oft der Googlebot eine Webseite crawlt. Der Crawl Bedarf ist um so höher, je populärer und frischer der Content einer Webseite ist.

Wie hoch ist das Crawl Budget deiner Webseite?

Wenn du wissen willst, wie hoch das Crawl Budget deiner Webseite ist, kannst du dies ganz leicht herausfinden. In der Google Search Console bekommst du einen genauen Überblick.

Melde dich zunächst bei der Google Search Console an und wähle deine Webseite aus. Dann klickst du auf „Einstellungen“ und „Crawling-Statistiken“. Dort siehst du dann, wie viele Seiten der Googlebot täglich crawlt.

Eine weitere Möglichkeit die Höhe des durchschnittlichen Crawl Budgets zu erfahren, sind die Serverprotokolle.

Wie unterscheidet sich das Index Budget von Crawl Budget?

Das Index Budget bestimmt, wie viele URLs indexiert werden. Je mehr Seiten einer Webseite den Fehlercode 404 auslesen, desto mehr wird das Crawl Budget belastet. Das Index Budget hingegen wird nicht komplett ausgenutzt, da die Seiten aufgrund der Fehlfunktion nicht indexiert werden können.

Warum spielt das Crawl Budget eine so große Rolle?

Zunächst einmal solltest du wissen, dass deine Webseite im Internet nur sichtbar wird, wenn der Googlebot diese vorher gecrawlt und indexiert hat. Sorge dafür, dass die wichtigsten Inhalte gefunden und gecrawlt werden können. Dies bezeichnet man auch als Crawl Budget Optimization. Diese Maßnahme ist insbesondere bei großen Webseiten sinnvoll, da aufgrund der hohen Anzahl an URLs möglicherweise nicht alle relevanten Seiten vom Googlebot gefunden werden. Kleine und mittlere Seiten betrifft das eher weniger. Die URLs können alle erfasst und indexiert werden.

Hat das Crawling Einfluss auf die Google Rankings?

Die Platzierung in den Google SERPs wird sich nicht unbedingt verbessern, wenn die Crawl Frequenz erhöht wird. Denn es gibt über 100 verschiedene Rankingfaktoren, die für ein besseres Ranking in den SERPs erforderlich sind. Das Crawling ist zwar notwendig, um in den SERPs sichtbar zu sein, allerdings ist das Crawling kein Rankingfaktor.

Wie erhöhst du das Crawl Budget?

Das Crawl Budget kann gesteigert werden, indem du die Autorität deiner Webseite steigerst. Dies erreichst du vorrangig damit, dass mehr Links von externen Webseiten auf deine Webseite zeigen.

Dies kannst du mit folgenden Maßnahmen erreichen:

1. Erstellung mehrwertstiftender Inhalte, die verlinkungswürdig sind
2. Outreach relevanter und bekannter Webseiten
3. Interne Verlinkung zur Verbesserung der Autorität deiner Webseite

Wenn du dazu mehr erfahren willst, klicke auf unseren Linkbuilding Guide.

Fazit zum Crawl Budget

Das Crawl Budget ist eine Schlüsselfigur des technischen SEO und hängt sehr eng mit der Crawl Frequenz zusammen. Je höher diese ist, desto häufiger erscheint der Googlebot auf der Webseite und crawlt die Inhalte. Denn Google will, dass der Index möglichst aktuell ist. Das bedeutet im Umkehrschluss, dass der Googlebot die Seiten häufiger crawlen wird, um das Risiko zu reduzieren nicht auf dem neusten Stand zu sein, sobald Änderungen einer Webseite z.B. mithilfe einer Crawl Budget Optimization, vorgenommen werden. Überwache das Crawl Budget deiner Webseite inkl. Subdomains, Verzeichnisse etc. also regelmäßig und nehme ggf. Anpassungen vor.