[SEO BASICS #9] Wie funktionieren Suchmaschinen? Crawling & Indexing

Die Optimierung von Websites, ohne vorher zu verstehen, wie Suchmaschinen funktionieren, ist wie die Veröffentlichung Ihres großen Romans, ohne vorher zu lernen, wie man schreibt.

Sicherlich werden tausend Affen an Schreibmaschinen irgendwann etwas Nützliches erschaffen (zumindest denkt dieser Affe gerne, dass er das von Zeit zu Zeit tut), aber es ist viel einfacher, wenn man die Kernelemente einer Aufgabe vorher kennt.

Wir müssen also verstehen, wie Suchmaschinen funktionieren, um zu verstehen, wie man für sie optimiert.

Während wir uns auf die organische Suche konzentrieren werden, müssen wir zunächst kurz über eine kritische Wahrheit über Suchmaschinen sprechen.

Bezahlte Suchergebnisse

Nicht Google, nicht Bing, noch eine andere große Suchmaschine ist an Bereitstellung von organischen Angeboten interessiert.

Das heißt, organische Ergebnisse sind das Mittel zum Zweck, generieren aber nicht direkt Einnahmen für Google.

Ohne organische Suchergebnisse würden die bezahlten Suchergebnisse von Google weniger relevant erscheinen, was die Anzahl der Views und bezahlten Klicks reduziert.

Im Grunde genommen sind Google und Bing (und die anderen) Werbemaschinen, die die Nutzer mit organischen Angeboten zu ihren eigenen Anzeigen locken. 

Warum ist das wichtig?

Es ist der Schlüssel um folgende Punkte zu verstehen:

• Das sich verändernde Layout der Google Suche
• Die Existenz von Suchfunktionen wie Wissenspanels und Ausschnitten.
• Die Klickraten (CTR) der organischen Ergebnisse.

Wenn Google ein viertes bezahltes Suchergebnis zu kommerziell orientierten Anfragen hinzufügt, liegt das daran.

Wenn Google einen Ausschnitt anzeigt, damit Sie Google.com nicht verlassen müssen, um eine Antwort auf Ihre Anfrage zu erhalten…. dann liegt das daran.

Unabhängig davon, welche Veränderungen Sie sehen, ist es wichtig, dies im Hinterkopf zu behalten und immer nicht nur zu fragen, was es heute bewirken wird, sondern auch, welche weiteren Änderungen sie implizieren.

Wie Suchmaschinen heute funktionieren

Jetzt, da wir dieses Grundverständnis haben, warum Google sogar organische Ergebnisse liefert, lassen Sie uns einen Blick darauf werfen, wie die Suche genau funktioniert.

Indexierung

Die Indizierung ist der Ort, an dem alles beginnt.

Für Uneingeweihte bezieht sich die Indexierung im Wesentlichen auf das Hinzufügen von Inhalten einer Webseite zu Google.

Wenn Sie eine neue Seite auf Ihrer Website erstellen, gibt es eine Reihe von Möglichkeiten, sie zu indexieren.

Die einfachste Methode, um eine Seite zu indizieren, ist, absolut nichts zu tun.

Google hat sog. Crawler, die Links folgen, und so, vorausgesetzt, dass sich Ihre Website bereits im Index befindet und dass der neue Inhalt von Ihrer Website aus verlinkt wird, wird Google ihn schließlich entdecken und in seinen Index aufnehmen. Mehr dazu später.

Aber was ist, wenn Sie wollen, dass Googlebot Ihre Seite schneller erreicht?

Dies kann wichtig sein, wenn Sie zeitnahen Inhalt haben oder wenn Sie eine wichtige Änderung an einer Seite vorgenommen haben, von der Sie Google wissen müssen.

Einer der Hauptgründe, warum ich schnellere Methoden verwende, ist, wenn ich entweder eine kritische Seite optimiert habe oder wenn ich den Titel und/oder die Beschreibung angepasst habe, um die Klickraten zu verbessern und genau wissen möchte, wann sie aufgenommen und in den SERPs angezeigt wurden, um zu wissen, wo die Messung der Verbesserung beginnt.

In diesen Fällen gibt es ein paar zusätzliche Methoden, die Sie verwenden können:

1. XML-Sitemaps

Im Grunde genommen ist dies eine Sitemap, die über die Suchkonsole an Google übermittelt wird.

Eine XML-Sitemap gibt Suchmaschinen eine Liste aller Seiten auf Ihrer Website sowie zusätzliche Details darüber, z.B. wann sie zuletzt geändert wurde.

Aber wenn Sie eine Seite sofort indiziert haben wollen?

Es ist nicht besonders zuverlässig.

2. URL Prüfung

In der Suchkonsole (die alte Version und vermutlich in der neuen Version) können Sie eine URL inspizieren.

Klicken Sie in der linken Navigation auf URL-Prüfung.

Geben Sie die zu indexierende URL ein und bestätigen die Suche.

Nachdem Ihre URL geholt wurde, wird Ihnen die Option “Indexierung Beantragen” angezeigt.

Im Allgemeinen können Sie innerhalb weniger Sekunden bis zu einigen Minuten den neuen Inhalt oder die neue URL in Google suchen und die Änderung oder den neu aufgenommenen Inhalt finden.

Crawl Budget

Wir können nicht wirklich über die Indexierung sprechen, ohne über das Crawl-Budget zu sprechen.

Im Grunde ist Crawl Budget ein Begriff, der verwendet wird, um die Menge der Ressourcen zu beschreiben, die Google für das Crawlen einer Website aufwenden wird.

Das zugewiesene Budget basiert auf einer Kombination von Faktoren, wobei die beiden zentralen Faktoren sind:

• Wie schnell Ihr Server ist (d.h. wie viel kann Google crawlen, ohne Ihre Benutzererfahrung zu beeinträchtigen).
• Wie wichtig Ihre Website ist.

Wenn Sie eine große Nachrichten-Website mit ständig aktualisiertem Inhalt betreiben, werden Suchmaschinenbenutzer wissen wollen, dass Ihre Website häufig gecrawlt wird (ich wage es zu sagen…. ständig).

Wenn Sie einen kleinen Friseurladen betreiben, ein paar Dutzend Links haben und zu Recht nicht als wichtig in diesem Zusammenhang angesehen werden (Sie können ein wichtiger Friseur in der Gegend sein, aber Sie sind nicht wichtig, wenn es um das Crawl Budget geht), dann wird das Budget niedrig sein.