robots.txt bei WordPress: So richten Sie die Datei ein

Suchmaschinen wie Google sollten Ihre Seite natürlich auch weiterhin gut finden können. Eher schädliche oder zwielichtige Services wie DuggMirror allerdings nicht; diese schließen Sie mit robots.txt bei WordPress aus. Dazu sollten Sie Themes, Ihr Impressum und andere Seiten, die keine oder nur geringe Relevanz haben, von der Indexierung ausnehmen. Auch Plugins sollten nicht indiziert werden – nicht nur, weil sie für die Öffentlichkeit nicht relevant sind, sondern auch aus Sicherheitsgründen. Hat ein Plugin eine Sicherheitsproblem, kann Ihre Website von Angreifern auf diese Weise gefunden und beschädigt werden.

In den meisten Fällen reichen Ihnen die beiden oben bereits genannten Befehle, um robots.txt bei WordPress sinnvoll zu nutzen: „User-agent“ legt fest, welche Bots angesprochen werden sollen. So können Sie Ausnahmen für bestimmte Suchmaschinen bestimmen oder auch grundsätzliche Regeln aufstellen. „Disallow“ verbietet Crawlern den Zugriff auf eine entsprechende Seite oder Unterseite. Der dritte Befehl „Allow“ ist in den meisten Fällen nicht von Belang, da der Zugriff standardmäßig erlaubt ist. Lediglich wenn Sie eine Seite sperren, aber deren Unterseite freigeben möchten, benötigen Sie diesen Befehl.

Updated: 27. Januar 2022 — 19:40

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahren Sie mehr darüber, wie Ihre Kommentardaten verarbeitet werden .