Robots.txt - Anleitung und Erklärung

STAND: 29.9.2016
DIE ROBOTS.TXT VON www.kktvcam.com

Robots.txt sind Textdateien, die den Suchmaschinen sagen, welche Seiten sie anzeigen dürfen und welche nicht.

Zusätzlich enthalten diese Dateien auch eine Verlinkung auf das Sitemap!

(Neben an siehst du die Robots.txt von dieser Website!)

Im ersten Datensatz kann man einige Robots verbieten. (Das * steht für beliebige Zeichen!)

Steht hinter dem Wort Disallow kein Wert, können Suchmaschinen alle Seiten anzeigen.

Kommen wir nun zu den Befehlen:

Disallow: Sperrt die Seite und alle Unterseiten die unter diesem Ordner laufen. (Beispiel, die Seite /app/test/ ist auch gesperrt!)

Allow: Erlaubt Seiten die sich in einem gesperrten Ordner befinden. (Beispiel Die Seite /app/test/ ist gesperrt die Seite /app/download/ allerdings nicht!)

Disallow: /priv* Sperrt alle Seiten die im Pfad mit priv beginnen. (Ist auch mit Allow möglich: /priv* macht allerdings weniger sinn!)

Disallow: /*priv Sperrt alle Seiten, die priv enthalten. (Ist auch mit Allow möglich!)

Disallow /*.doc$ Sperrt alle Seiten die auf .doc enden. (PS: Ist auch mit allen anderen Dateiendungen und Allow möglich.)

(Das $ symbolisiert das Zeilenende!)

USER AGENTS:

Wenn du bei USER AGENTS ein * setzt, gelten die Regeln für alle Bots.

Möchtest du sie auf einzelne beschränken musst du folgendes schreiben:

User-agent:der betreffende bot

//Hier kannst du die Regeln hinschreiben.

Beispiel:

User-agent:google-news

Disallow: /news/

Allow:/*blog

Einige Beispiels User-agents:

google

google-news

google-shopping

ACHTUNG, EIN GOOGLE INDEXIERUNGSFEHLER ERLAUBT DEN GOOGLE BOTS DEN ZUGRIFF AUF PHP SKRIPTE!

Fehler Beheben:

Aktuell (November 2016) kommt es aufgrund von kleinen Fehlern dazu, dass PHP Scripts von Google indexiert werden!

Dies ermöglicht dritt Personen Zugriff auf Passwörter bzw. gesperrte Bereiche.

Um PHP Skripte für Bots zu sperren, musst du /*:php$ (Das : sagt dem Bot, dass er keine PHP Skripte indexieren darf

PS:

1.In der Google Search Console kannst du prüfen ob die Robots.txt korrekt eingerichtet ist!

2.Um zu den Robots.txt dieser Seite zu gelangen, musst du nur auf das Bild oben drücken.

3.Bitte beachte, dass dier Robots.txt auch unter dem Link example.com/robots.txt verfügbar sein muss.

4.Da es in diesem Artikel um einen Bereich geht, der sich sehr schnell verändert, werde ich diesen Artikel regelmässig Updaten! 

TEXT-VERSION: 2.0

Zuletzt Aktualisiert am: 1.11.2016

By: Severin.K

 

 


LCMmedia

KONTAKT

Bitte den Code eingeben:

Hinweis: Bitte die mit * gekennzeichneten Felder ausfüllen.


Made with ♥ in Bern (Switzerland)!