Crawling

Crawling ist der Vorgang, bei dem Suchmaschinen mit automatisierten Programmen – sogenannten Crawlern oder Bots (bei Google der Googlebot) – das Web systematisch durchsuchen. Diese Bots folgen Links von Seite zu Seite, laden die Inhalte herunter und lesen aus, was dort steht. Crawling ist der allererste Schritt, bevor eine Seite überhaupt in den Suchindex aufgenommen und in den Ergebnissen erscheinen kann.

Wichtig ist das, weil eine Seite, die nicht gecrawlt wird, für die Suchmaschine praktisch unsichtbar ist – egal wie gut ihr Inhalt ist. Auch KI-Suchsysteme setzen auf Crawler, um Webinhalte zu erfassen. Wer sicherstellen will, gefunden zu werden, muss also dafür sorgen, dass Bots die eigenen Seiten problemlos erreichen und lesen können.

Worauf es ankommt: interne Verlinkung, damit Bots von Seite zu Seite finden; eine Sitemap, die alle wichtigen URLs auflistet; und eine korrekt konfigurierte robots.txt, die steuert, was gecrawlt werden darf. Ein häufiger, folgenschwerer Fehler ist, aus Versehen wichtige Seiten per robots.txt oder „noindex" zu blockieren – dann bleiben sie unsichtbar, obwohl alles andere stimmt. Auch Inhalte, die nur per JavaScript oder in Bildern vorliegen, können Crawler behindern.