Artfiles GmbH
Artfiles GmbH
headillu

Crawler

1. Crawler allgemein

Crawler sind automatisierte Programme (auch "Bot" gennant), die zum Beispiel von Suchmaschinen eingesetzt werden, um Ihre Seite dem Suchindex hinzuzufügen und den Eintrag in regelmäßigen Abständen zu aktualisieren. Um dies zu erreichen, verfolgen diese Bots die auf der zu indizierenden Webseite gesetzten Links, um die Inhalte der Seite zu erfassen. Diese Linkverfolgung kann allerdings auch eine beträchtliche Last auf dem Webserver verursachen, der die betroffene Webseite bereitstellt. Darüber hinaus gibt es noch zahlreiche andere Organisationen, die Crawler für verschiedenste Zwecke nutzen.
Aus diesem Grund kann es sinnvoll sein, den Zugriff der Crawler auf Ihre Domains zu limitieren. Die gängige Variante für die Zugriffskontrolle geschieht über die sogenannte "robots.txt"-Datei. Mit dem hier beschriebenen Tool können Sie jedoch auch über das DCP eine Zugriffskontrolle für verschiedene Crawlertypen einrichten.

2. Crawler Übersicht

  1. In dieser Spalte werden Ihre Domains aufgelistet.
  2. Diese Spalte listet auf, welche Crawler für die jeweilige Domain erlaubt sind. Über das Feld "erlaubte Crawler" können Sie für alle aufgelisteten Domains auf einmal die erlaubten Crawler festsetzen. Zur Auswahl stehen dabei:
    • Alle: Alle Crawler können ungehindert auf Ihre Domains zugreifen.
    • Google, Bing, Yahoo: Nur die Crawler der genannten Suchmaschinen dürfen Ihre Domains indexieren.
    • Keine: Jedem Crawler wird der Zugriff auf Ihre Domains verweigert.
  3. Alternativ können Sie auch pro Domain festlegen, welche Crawler zugelassen werden sollen.
facebook twitter
Share this page on twitter facebook delicious email
* Wenn nicht anders angegeben, verstehen sich alle Preisangaben inklusive der gesetzlichen Mehrwertsteuer.
Valid HTML 4.01 Strict