Zum Hauptinhalt springen
Crawler blockieren

In diesem Artikel erfährst du, wie du Crawler blockieren kannst.

Josha Elias Berg avatar
Verfasst von Josha Elias Berg
Vor über 6 Monaten aktualisiert

Diese Anleitung zeigt dir, wie du einen Crawler auf deiner WordPress-Seite mit Hilfe der robots.txt-Datei blockierst.

Schritt 1: Plesk öffnen und zur Dateiverwaltung navigieren

  1. Logge dich in der Hosting-Oberfläche ein

  2. Gehe zur Dateiverwaltung

    1. Nach dem Einloggen siehst du das Plesk-Dashboard.

    2. Klicke auf deine Domain, die du verwalten möchtest.

    3. Wähle im linken Menü „Dateien“ oder „Dateimanager“ aus. Dies öffnet den Dateimanager, in dem du die Dateien deiner Website sehen kannst.

Schritt 2: robots.txt-Datei erstellen oder bearbeiten

  1. Überprüfe, ob eine robots.txt-Datei existiert:

    1. im Dateimanager suche nach einer Datei namens „robots.txt“ im Hauptverzeichnis deiner Website (meistens im Ordner „httpdocs“).

    2. wenn die Datei bereits existiert, klicke sie an, um sie zu bearbeiten. Falls nicht, erstelle eine neue Datei.

  2. Neue robots.txt-Datei erstellen (falls nötig):

    1. Klicke auf „Neue Datei“ oder einen ähnlichen Button im Dateimanager.

    2. Gib der Datei den Namen „robots.txt“ und erstelle sie.

Schritt 3: Inhalte zur robots.txt-Datei hinzufügen

  1. robots.txt-Datei bearbeiten:

    1. Öffne die robots.txt-Datei durch Doppelklick oder wähle „Bearbeiten“ aus.

  2. Crawler herausfinden:

    1. Suche in deinen Protokollen auffälligen Aufrufen, welche vom Crawler stammen, diese sehen in etwa so aus (öffne das Bild in einem neuen Tab):

      1. In diesem Beispiel ist der Crawler vom User-Agent Byte-Spider, welcher häufig zu Problemen führt, da er besonders oft und schnell hintereinander Aufrufe generiert.

  3. Crawler blockieren:

    1. Um einen bestimmten Crawler zu blockieren, musst du den Namen des Crawlers kennen. Zum Beispiel, um den „BadBot“ zu blockieren, fügst du folgende Zeilen hinzu:

      User-agent: BadBot
      Disallow: /

      Diese Anweisungen bedeuten, dass der Crawler namens „BadBot“ keinen Zugriff auf irgendeinen Teil deiner Website hat.

  4. Speichere die Änderungen:

    1. Nachdem du die gewünschten Anweisungen hinzugefügt hast, speichere die Datei.

Schritt 4: Änderungen überprüfen

  1. robots.txt-Datei testen:

    1. Öffne einen neuen Tab in deinem Webbrowser und gehe zu „www.deine-domain.de/robots.txt“.

    2. Überprüfe, ob die Änderungen korrekt angezeigt werden. Du solltest den Inhalt sehen, den du hinzugefügt hast.

Beispiel für eine vollständige robots.txt-Datei

Hier ist ein Beispiel für eine vollständige robots.txt-Datei, die mehrere Crawler blockiert:

User-agent: BadBot
Disallow: /
User-agent: AnotherBot
Disallow: /
User-agent: *
Disallow: /private/

Diese Datei blockiert „BadBot“ und „AnotherBot“ komplett und verhindert, dass alle anderen Crawler den Ordner „/private/“ durchsuchen.

Fertig!

Du hast erfolgreich einen Crawler auf deiner WordPress-Seite mit einer robots.txt-Datei blockiert. Wenn du weitere Fragen hast oder Unterstützung benötigst, wende dich an den Support.

Hat dies deine Frage beantwortet?