Google hat kürzlich für Verwirrung gesorgt, indem es widersprüchliche Informationen über die Vorgehensweise seines Webcrawlers, Googlebot, verbreitet hat. Traditionell wurde angenommen, dass der Googlebot Links auf Webseiten folgt, um neue Inhalte zu entdecken und diese in den Index von Google aufzunehmen. Diese Praxis ist ein Eckpfeiler der Suchmaschinenoptimierung (SEO), da das Crawlen und Indexieren von Seiten entscheidend für deren Sichtbarkeit in den Suchergebnissen ist.
In einem kürzlich veröffentlichten Tweet hat Google jedoch angedeutet, dass der Googlebot nicht automatisch jedem Link auf einer Webseite folgt. Diese Aussage hat viele SEO-Experten verwirrt und dazu geführt, dass die Frage aufkam, ob die bisherige Annahme über das Verhalten des Googlebots noch gültig ist.
Die Verwirrung rührt daher, dass Google in der Vergangenheit immer betont hat, wie wichtig es ist, eine gut strukturierte interne Verlinkung auf Webseiten zu haben. Diese internen Links helfen dem Googlebot, alle relevanten Seiten einer Website zu finden und zu indexieren. Wenn Googlebot jedoch nicht jedem Link folgt, stellt sich die Frage, welche Links bevorzugt werden und welche möglicherweise ignoriert werden.
In der offiziellen Dokumentation von Google wird erklärt, dass der Googlebot seine Crawling-Kapazität effizient nutzen muss. Dies bedeutet, dass er nicht alle Links auf einer Seite verfolgt, sondern eine Auswahl trifft. Diese Auswahl basiert auf verschiedenen Faktoren wie der Relevanz und Qualität der Links, der Struktur der Website und den Anweisungen in der Datei robots.txt sowie den Meta-Tags der Seite.
SEO-Experten sollten daher ihre Strategien überdenken und sicherstellen, dass die wichtigsten Links auf ihren Webseiten klar und deutlich strukturiert sind. Wichtige Inhalte sollten nicht tief in der Hierarchie der Website versteckt sein, sondern leicht zugänglich und gut verlinkt sein. Zudem sollten unnötige und überflüssige Links vermieden werden, um das Crawling-Budget optimal zu nutzen.
Zusammenfassend lässt sich sagen, dass Googlebot zwar weiterhin Links folgt, dies jedoch selektiv und auf Basis bestimmter Kriterien tut. Diese Erkenntnis unterstreicht die Bedeutung einer durchdachten SEO-Strategie, die eine effiziente interne Verlinkung und eine klare Struktur der Webseite sicherstellt.
Benötigen Sie Hilfe bei Ihrem SEO-Projekt? Schreiben Sie uns gerne unter support@mertes-leven.de an.
