robots.txt-Generator

Online-robots.txt-Generator: Crawl-Regeln visuell konfigurieren und eine standardkonforme Datei erzeugen.

Anleitung

Erlaubte/gesperrte Pfade und Sitemap ausfüllen; robots.txt wird live erzeugt.

Data is processed entirely in your browser; nothing is uploaded to our servers.