robots.txt-Generator
Online-robots.txt-Generator: Crawl-Regeln visuell konfigurieren und eine standardkonforme Datei erzeugen.
Anleitung
Erlaubte/gesperrte Pfade und Sitemap ausfüllen; robots.txt wird live erzeugt.
Data is processed entirely in your browser; nothing is uploaded to our servers.