Online Marketing Agentur Frankfurt | Lexikon: Crawler

Crawler

Was ist Crawler? Was heißt Crawler? Was bedeutet Crawler?

A/B Testing

Crawler Definition

Der Crawler, auch Webcrawler genannt, ist ein Computerprogramm zur Durchsuchung und Analysierung des Internets. Jede Suchmaschine verfügt über einen Crawler, welcher das World Wide Web algorithmisch durchsucht und neue Dokumente nach bestimmten Kriterien filtert.

Die Bedeutung des Crawlers für das Ranking in Suchmaschinen

Der Crawler ist keine neue Erfindung, sondern basiert auf der in 1994 erstmals veröffentlichten Suchmaschine mit Volltext-Index. Heute ist der Crawler ein fester Bestandteil von Suchmaschinen wie Google, Yahoo oder Bing. Seine Aufgabe ist die algorithmische Durchsuchung des Internets nach neuen Inhalten, veränderten Dokumenten und nicht mehr existierenden Links. Die Programmierung des Crawlers erfolgt nach den Richtlinien der Suchmaschinen, so dass das Computerprogramm ungeeignete, fehlerhaft programmierte und doppelt veröffentlichte Inhalt „erkennt“ und aus der Indexierung ausschließt.

In der SEO und im Online Marketing geht es daher nicht nur darum, den menschlichen Besucher zu überzeugen. Ebenso wichtig ist die maschinelle Lesbarkeit der Codierung, da diese für den Crawler und somit auch für das Ranking in den Suchergebnissen verantwortlich ist.

Wie ein Crawler funktioniert

Das „Suchverhalten“ des Crawlers ähnelt der menschlichen Suche bei Google. Allerdings handelt es sich um einen Automatismus, der von einem Hyperlink zur nächsten Seite führt. Die Indexierung anhand der Richtlinien und Regeln erfolgt automatisch, sofern das Dokument den Vorgaben – zum Beispiel von Google – entspricht. Google nutzt beispielsweise sehr viele Crawler, so dass die Suchergebnisse für den User besonders präzise dargestellt werden. Neben der seriösen und ursprünglichen Verwendung können Crawler aber auch „missbraucht“ werden.

20181204_Was_ist_ein_Crawler_Filmproduktion_Frankfurt

  Crawler, Spider, Spinne oder Greifarm – Alles steht dafür Ihre Inhalte zur richtigen Zeit am richtigen Ort zu erhalten

Websitebetreiber können die Indexierung und die Rankingposition beeinflussen. Da der Crawler nach bestimmten Regeln vorgeht und die thematische Einordnung anhand fester Vorgaben vornimmt, sollte eine Homepage immer präzise mit den wichtigen Codes programmiert werden. Fehler sind dabei ebenso zu vermeiden wie doppelter oder nicht hochwertiger Content.