Diese Anleitung zeigt dir, wie du einen Crawler auf deiner WordPress-Seite mit Hilfe der robots.txt-Datei blockierst.
Schritt 1: Plesk öffnen und zur Dateiverwaltung navigieren
Logge dich in der Hosting-Oberfläche ein
Gehe zur Dateiverwaltung
Nach dem Einloggen siehst du das Plesk-Dashboard.
Klicke auf deine Domain, die du verwalten möchtest.
Wähle im linken Menü „Dateien“ oder „Dateimanager“ aus. Dies öffnet den Dateimanager, in dem du die Dateien deiner Website sehen kannst.
Schritt 2: robots.txt-Datei erstellen oder bearbeiten
Überprüfe, ob eine robots.txt-Datei existiert:
im Dateimanager suche nach einer Datei namens „robots.txt“ im Hauptverzeichnis deiner Website (meistens im Ordner „httpdocs“).
wenn die Datei bereits existiert, klicke sie an, um sie zu bearbeiten. Falls nicht, erstelle eine neue Datei.
Neue robots.txt-Datei erstellen (falls nötig):
Klicke auf „Neue Datei“ oder einen ähnlichen Button im Dateimanager.
Gib der Datei den Namen „robots.txt“ und erstelle sie.
Schritt 3: Inhalte zur robots.txt-Datei hinzufügen
robots.txt-Datei bearbeiten:
Öffne die robots.txt-Datei durch Doppelklick oder wähle „Bearbeiten“ aus.
Crawler herausfinden:
Suche in deinen Protokollen auffälligen Aufrufen, welche vom Crawler stammen, diese sehen in etwa so aus (öffne das Bild in einem neuen Tab):
In diesem Beispiel ist der Crawler vom User-Agent Byte-Spider, welcher häufig zu Problemen führt, da er besonders oft und schnell hintereinander Aufrufe generiert.
Crawler blockieren:
Um einen bestimmten Crawler zu blockieren, musst du den Namen des Crawlers kennen. Zum Beispiel, um den „BadBot“ zu blockieren, fügst du folgende Zeilen hinzu:
User-agent: BadBot
Disallow: /Diese Anweisungen bedeuten, dass der Crawler namens „BadBot“ keinen Zugriff auf irgendeinen Teil deiner Website hat.
Speichere die Änderungen:
Nachdem du die gewünschten Anweisungen hinzugefügt hast, speichere die Datei.
Schritt 4: Änderungen überprüfen
robots.txt-Datei testen:
Öffne einen neuen Tab in deinem Webbrowser und gehe zu „www.deine-domain.de/robots.txt“.
Überprüfe, ob die Änderungen korrekt angezeigt werden. Du solltest den Inhalt sehen, den du hinzugefügt hast.
Beispiel für eine vollständige robots.txt-Datei
Hier ist ein Beispiel für eine vollständige robots.txt-Datei, die mehrere Crawler blockiert:
User-agent: BadBot
Disallow: /
User-agent: AnotherBot
Disallow: /
User-agent: *
Disallow: /private/
Diese Datei blockiert „BadBot“ und „AnotherBot“ komplett und verhindert, dass alle anderen Crawler den Ordner „/private/“ durchsuchen.
Fertig!
Du hast erfolgreich einen Crawler auf deiner WordPress-Seite mit einer robots.txt-Datei blockiert. Wenn du weitere Fragen hast oder Unterstützung benötigst, wende dich an den Support.