Crawl Budget – Was bedeutet das?

Laut einer Studie der University of Leicester aus 2015 sollen sich schätzungsweise 4,54 Milliarden Seiten im visible Web befinden. Das entspricht rund 136 Milliarden DIN A4 Seiten Blatt Papier. Tendenz steigend. Doch wie werden diese Seiten im World Wide Web eigentlich sichtbar? Hier kommt der Google Crawler ins Spiel, der die URLs pro Seite erfasst. Allerdings kann nur eine bestimmte Anzahl an Webseiten gescannt werden, was als Crawl Budget bezeichnet wird. Erfahre im Folgenden, was es damit genau auf sich hat und was es zu beachten gilt.

Crawl Budget – Was bedeutet das?

Definition Crawl Budget

Unter Crawl Budget versteht man die Anzahl der Seiten, die von dem Googlebot auf einer Webseite maximal gecrawlt werden. Allerdings werden pro Webseite unterschiedlich viele Seiten gecrawlt. Das ist abhängig vom PageRank einer Seite, wie Matt Cutts in einem Interview mit Stone Temple (jetzt Perficient) bestätigt:

“The best way to think about it is that the number of pages that we crawl is roughly proportional to your PageRank. So if you have a lot of incoming links on your root page, we’ll definitely crawl that. Then your root page may link to other pages, and those will get PageRank and we’ll crawl those as well. As you get deeper and deeper in your site, however, PageRank tends to decline.”

https://blogs.perficient.com/2010/03/14/matt-cutts-interviewed-by-eric-enge-2/

Das Crawl Budget setzt sich zusammen aus der maximalen Anzahl der Seiten, die vom Googlebot gecrawlt werden können und wollen.

Daraus ergibt sich folgende Formel:

Crawl Frequenz + Crawl Bedarf = Crawl Budget

blank

Je höher der PageRank einer Seite ist, desto mehr Crawl Budget hat der Seite zur Verfügung. Zudem entscheidet das Crawl Budget, wie oft die relevantesten Seiten einer Webseite gecrawlt werden und wie häufig tiefgründig gecrawlt wird.

Die Crawl Frequenz gibt an, wie oft der Googlebot eine Webseite crawlt. Der Crawl Bedarf ist um so höher, je populärer und frischer der Content einer Webseite ist.

Wie hoch ist das Crawl Budget deiner Webseite?

blank

Wenn du wissen willst, wie hoch das Crawl Budget deiner Webseite ist, kannst du dies ganz leicht herausfinden. In der Google Search Console bekommst du einen genauen Überblick.

Melde dich zunächst bei der Google Search Console an und wähle deine Webseite aus. Dann klickst du auf „Einstellungen“ und „Crawling-Statistiken“. Dort siehst du dann, wie viele Seiten der Googlebot täglich crawlt.

blank

Eine weitere Möglichkeit die Höhe des durchschnittlichen Crawl Budgets zu erfahren, sind die Serverprotokolle.

Wie unterscheidet sich das Index Budget von Crawl Budget?

Das Index Budget bestimmt, wie viele URLs indexiert werden. Je mehr Seiten einer Webseite den Fehlercode 404 auslesen, desto mehr wird das Crawl Budget belastet. Das Index Budget hingegen wird nicht komplett ausgenutzt, da die Seiten aufgrund der Fehlfunktion nicht indexiert werden können.

blank
Infografik: Achte darauf, dass diese Faktoren nicht auf deine Webseite zutreffen. Ansonsten kann es sein, dass mehrwertstiftende Inhalte auf deiner Seite von Google nicht erkannt werden und das Crawl Budget für irrelevante Seiten verschwendet wird.

Warum spielt das Crawl Budget eine so große Rolle?

Zunächst einmal solltest du wissen, dass deine Webseite im Internet nur sichtbar wird, wenn der Googlebot diese vorher gecrawlt und indexiert hat. Sorge dafür, dass die wichtigsten Inhalte gefunden und gecrawlt werden können. Dies bezeichnet man auch als Crawl Budget Optimization. Diese Maßnahme ist insbesondere bei großen Webseiten sinnvoll, da aufgrund der hohen Anzahl an URLs möglicherweise nicht alle relevanten Seiten vom Googlebot gefunden werden. Kleine und mittlere Seiten betrifft das eher weniger. Die URLs können alle erfasst und indexiert werden.

Hat das Crawling Einfluss auf die Google Rankings?

Die Platzierung in den Google SERPs wird sich nicht unbedingt verbessern, wenn die Crawl Frequenz erhöht wird. Denn es gibt über 100 verschiedene Rankingfaktoren, die für ein besseres Ranking in den SERPs erforderlich sind. Das Crawling ist zwar notwendig, um in den SERPs sichtbar zu sein, allerdings ist das Crawling kein Rankingfaktor.

blank
Infografik: Um das Crawl Budget zu erhöhen, kannst du auch das nofollow-Attribut für interne Links verwenden, um somit irrelevante Seiten vom Googlebot fernzuhalten. Habe im Hinterkopf, dass dadurch Linkjuice verloren gehen kann. Prüfe es im Einzelfall und wäge ab, welcher Weg der bessere ist.

Wie erhöhst du das Crawl Budget?

Das Crawl Budget kann gesteigert werden, indem du die Autorität deiner Webseite steigerst. Dies erreichst du vorrangig damit, dass mehr Links von externen Webseiten auf deine Webseite zeigen.

Dies kannst du mit folgenden Maßnahmen erreichen:

  1. Erstellung mehrwertstiftender Inhalte, die verlinkungswürdig sind
  2. Outreach relevanter und bekannter Webseiten
  3. Interne Verlinkung zur Verbesserung der Autorität deiner Webseite

Wenn du dazu mehr erfahren willst, klicke auf unseren Linkbuilding Guide.

Fazit zum Crawl Budget

Das Crawl Budget ist eine Schlüsselfigur des technischen SEO und hängt sehr eng mit der Crawl Frequenz zusammen. Je höher diese ist, desto häufiger erscheint der Googlebot auf der Webseite und crawlt die Inhalte. Denn Google will, dass der Index möglichst aktuell ist. Das bedeutet im Umkehrschluss, dass der Googlebot die Seiten häufiger crawlen wird, um das Risiko zu reduzieren nicht auf dem neusten Stand zu sein, sobald Änderungen einer Webseite z.B. mithilfe einer Crawl Budget Optimization, vorgenommen werden. Überwache das Crawl Budget deiner Webseite inkl. Subdomains, Verzeichnisse etc. also regelmäßig und nehme ggf. Anpassungen vor.

blank Gesina Kunkel
Die Leidenschaft fürs Online Marketing habe ich 2017 während meiner Zeit als Regisseurin entdeckt. Wenige Jahre später habe ich mich dem Online Marketing voll und ganz hingegeben. Die Suchmaschine Google befindet sich im stetigen Wandel mit dem Ziel die Nutzer bestmöglich zu verstehen. Das hat zur Folge, dass Suchmaschinenoptimierung deutlich anspruchsvoller und technisch komplexer wird. Um weiterhin unsere Kunden erstklassige zu betreuen und mit ihnen zu arbeiten, bilde ich mich stetig weiter, gebe regelmäßig Vorträge zu Themen wie Content Distribution auf internationalen Fachkonferenzen und trete als Autorin im MEGA-Magazin in Erscheinung. Privat halte ich mich mental wie körperlich fit, mache Ausdauer- und Krafttraining, höre klassische Musik und habe eine Vorliebe für gutes veganes Essen.