Генератор robots.txt
Онлайн-генератор robots.txt: визуальная настройка правил сканирования и создание стандартного файла.
Как использовать
Заполните разрешённые/запрещённые пути и карту сайта — robots.txt создаётся в реальном времени.
Data is processed entirely in your browser; nothing is uploaded to our servers.