Описание
Как пользоваться генератором robots.txt
- Выберите пресет под вашу CMS (WordPress, Bitrix, OpenCart, MODX) или начните с пустого.
- Настройте правила — добавьте группы User-agent и директивы Disallow/Allow.
- Укажите Sitemap — ссылку на карту сайта.
- Скопируйте или скачайте готовый robots.txt и положите его в корень сайта.
Что такое robots.txt
robots.txt — это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы можно обходить, а какие нет. Он лежит по адресу site.ru/robots.txt и первым считывается ботами при заходе на сайт. С его помощью закрывают от индексации служебные разделы, дубли и технические страницы, чтобы в поиск попадало только нужное.
Основные директивы
- User-agent. Для какого робота правила:
*— для всех, или конкретный (например, Yandex). - Disallow. Что закрыть от обхода:
Disallow: /admin/. - Allow. Что разрешить, даже если родительская папка закрыта.
- Sitemap. Полная ссылка на карту сайта.
- Crawl-delay. Пауза между запросами бота (поддерживается не всеми).
Подстановочные знаки
- Звёздочка
*— любая последовательность символов:Disallow: /*?*закроет все URL с параметрами. - Знак доллара
$— конец адреса:Disallow: /*.pdf$закроет все PDF. - Папка со слешем —
/admin/закрывает раздел целиком.
Готовые пресеты под CMS
У каждой CMS есть свои служебные папки, которые принято закрывать. Пресеты для WordPress, Bitrix, OpenCart и MODX уже содержат типовые правила для этих систем — не нужно вспоминать пути вручную. Если не знаете, на какой CMS сделан сайт, определите её в инструменте определения CMS.
Типичные ошибки
- Случайно закрыт весь сайт.
Disallow: /без Allow убирает сайт из поиска. - Файл не в корне. robots.txt работает только по адресу
site.ru/robots.txt. - Нет ссылки на Sitemap. Карту сайта стоит указывать явно.
- Расчёт на «защиту». robots.txt лишь рекомендация — закрытая страница всё равно открывается по прямой ссылке.
Robots.txt и карта сайта
robots.txt и sitemap.xml работают в паре: первый говорит, что обходить, второй — перечисляет страницы для индексации. Создать карту сайта можно в генераторе sitemap, а проверить мета-теги страниц — в проверке мета-тегов.
Частые вопросы
- Куда загружать файл? В корень сайта, чтобы он открывался по адресу
site.ru/robots.txt. - Закрывает ли robots.txt страницу полностью? Нет, это рекомендация для ботов, а не запрет доступа.
- Нужны ли разные правила для Яндекса и Google? Обычно достаточно общих правил для
*. - Как закрыть страницы с параметрами? Использовать
Disallow: /*?*. - Это бесплатно? Да, генератор работает без регистрации.