Генератор robots.txt

Что умеет генератор

Генератор собирает корректный robots.txt из готовых пресетов. Выберите тип сайта, укажите адрес и карту сайта — файл обновится сразу. Результат можно скопировать или скачать готовым файлом. Всё работает в браузере, данные никуда не отправляются.

Пресеты

• 1С-Битрикс — закрывает служебные разделы (/bitrix/, /auth/, /personal/, /search/), страницы печати и отладки, но оставляет открытыми шаблоны, скрипты, кеш и /upload/.
• Универсальный — минимальный набор для любого сайта: админка, служебные скрипты и при желании адреса с GET-параметрами.
• Закрыть сайт — Disallow: / для тестовых копий и сайтов в разработке.

Как установить файл

1. Скачайте результат и назовите файл строго robots.txt (строчными буквами).
2. Загрузите его в корень сайта — туда, где лежит index.php.
3. Откройте ваш-сайт.ru/robots.txt в браузере: файл должен отображаться как текст.
4. Проверьте результат в анализаторе robots.txt и в Яндекс Вебмастере.

Clean-param и параметры в адресах

Метки utm_*, yclid, gclid и подобные создают тысячи копий одной страницы. Для Яндекса их можно «склеить» директивой Clean-param — генератор добавляет её отдельным блоком. Запрет Disallow: /*? радикальнее: закрывает все адреса с параметрами. Используйте его, только если фильтр каталога и пагинация у вас работают на ЧПУ.

Важно для Битрикс

В Битрикс robots.txt также можно редактировать в модуле «Поисковая оптимизация» → «Настройка robots.txt». Если файл правится и там, и вручную, изменения перезапишут друг друга — выберите один способ. На многосайтовой установке у каждого сайта должен быть свой файл.

Полезные материалы Bitrix-Help

• robots.txt для сайта на Битрикс
• Настройка ЧПУ в Битрикс
• Дубли страниц в Битрикс: как найти и закрыть