Robots.txt-Generator
Nimm * für alle Bots oder einen bestimmten Namen wie Googlebot
Zugriffsregeln
Speicher diesen Inhalt in einer Datei namens robots.txt im Stammverzeichnis deiner Website.
Häufige Fragen
Was man über die Datei robots.txt wissen sollte
Wozu dient die Datei robots.txt?
Die robots.txt sagt den Suchmaschinen-Crawlern, welche Teile der Website sie lesen dürfen und welche nicht. Sie gehört ins Stammverzeichnis der Domain, also etwa https://example.com/robots.txt. Achtung: Sie ist eine Anweisung, kein Schutz — eine gesperrte Seite kann trotzdem in den Index kommen, wenn andere Seiten darauf verlinken.
Worin unterscheiden sich Allow und Disallow?
Disallow sperrt einen Pfad für den Crawler, Allow gibt ihn ausdrücklich frei. Allow dient vor allem den Ausnahmen: Man kann /admin/ sperren und /admin/public/ freigeben. Eine leere Zeile «Disallow:» gibt die ganze Website frei, «Disallow: /» sperrt sie vollständig.
Halten sich alle Suchmaschinen an Crawl-Delay?
Nein. Die Anweisung Crawl-delay sagt Bots, wie viele Sekunden sie zwischen zwei Anfragen warten sollen, aber nicht alle halten sich daran. Bing und Yandex befolgen sie, Google ignoriert sie und regelt die Häufigkeit selbst: Um Google zu bremsen, muss der Server unter Last mit 503 oder 429 antworten. Nutz Crawl-delay nur, wenn dein Server Lastprobleme hat.
Wozu dient eine Datei robots.txt?
Sie sagt den Crawlern der Suchmaschinen, welche Teile der Website sie durchlaufen dürfen. Sie liegt im Wurzelverzeichnis der Domain und schützt nichts: Eine gesperrte Seite bleibt für jeden erreichbar, der ihre Adresse kennt.
Was unterscheidet Allow und Disallow?
Disallow sperrt einen Pfad für das Crawling, Allow öffnet ihn wieder und ist für die Ausnahmen da: Sie können einen Ordner sperren und einen Unterordner darin erreichbar lassen. Ein leeres Disallow erlaubt alles.
