Запрет для поисковых роботов через robots.txt в WordPress: настройка и примеры

Автор: Марина Новикова | Опубликовано: 03.02.2026

Файл robots.txt – это первый инструмент, к которому обращаются поисковые роботы при сканировании вашего сайта. Правильная настройка этого файла в WordPress позволяет ограничить доступ к нежелательным разделам, повысить безопасность и оптимизировать индексацию. В статье разберёмся, как грамотно запретить роботам доступ к нужным зонам сайта, используя файл robots.txt, а также рассмотрим примеры кода и полезные плагины для удобного управления.

Что такое robots.txt и зачем его настраивать в WordPress

Файл robots.txt — это текстовый файл, размещаемый в корне сайта, который содержит инструкции для поисковых роботов – какие страницы и папки нужно сканировать, а какие игнорировать. Для WordPress это особенно важно, потому что в системе есть множество служебных страниц, админка, временные файлы, которые не нужны в индексе.

Правильное использование robots.txt помогает:

Сократить нагрузку на сервер, избегая сканирования ненужных разделов.
Защитить конфиденциальные данные (например, папку с бэкапами или админку).
Улучшить SEO, избегая индексации дублированного контента.

Важно понимать, что robots.txt – это рекомендация для роботов, а не жесткое ограничение. Некоторые вредоносные боты могут игнорировать этот файл, поэтому дополнительно рекомендуем использовать другие методы защиты.

Основные правила и синтаксис файла robots.txt для WordPress

Файл robots.txt состоит из блоков, каждый из которых начинается с директивы User-agent, указывающей, к каким роботам применяются правила, и заканчивается перечнем директив Disallow или Allow.

Пример базового синтаксиса:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

Здесь User-agent: * означает, что правило действует для всех роботов. Директива Disallow запрещает индексацию папок wp-admin и wp-includes, а Allow разрешает доступ к конкретному файлу, необходимому для Ajax-запросов.

Для WordPress рекомендуемые обязательные запреты:

/wp-admin/ – админка сайта.
/wp-includes/ – системные файлы движка.
/wp-login.php – страница входа.
Папки с плагинами, если они не должны индексироваться (по необходимости).

Пример эффективного файла robots.txt для WordPress

Ниже пример файла, который подходит для большинства сайтов на WordPress и обеспечивает защиту важных разделов:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://wpsolution.ru/sitemap.xml

Обратите внимание на директиву Sitemap – она помогает поисковикам быстрее находить карту сайта.

Как добавить и редактировать robots.txt в WordPress

В WordPress файл robots.txt может отсутствовать, тогда движок генерирует виртуальный файл по умолчанию. Для тонкой настройки нужно создать или отредактировать реальный файл в корне сайта.

Создание файла robots.txt вручную

Самый надежный способ — создать файл через FTP или в панели хостинга:

Откройте корневую папку сайта (обычно public_html или www).
Создайте текстовый файл с именем robots.txt.
Вставьте в него нужные правила (пример выше).
Сохраните и загрузите файл.

Использование плагинов для управления robots.txt

Если вы предпочитаете не работать с файлами напрямую, можно использовать плагины, которые позволяют редактировать robots.txt прямо из админки WordPress:

Yoast SEO — в настройках инструмента есть редактор robots.txt;
Virtual Robots.txt — позволяет создавать и управлять виртуальным файлом без доступа к серверу;
WP Robots Txt Editor — простой редактор для robots.txt.

Использование плагинов удобно, если вы не хотите рисковать при работе с FTP и хотите быстро вносить изменения.

Как запретить индексацию определённых разделов и файлов в WordPress

Рассмотрим частые ситуации, когда нужно запретить роботам индексацию отдельных частей сайта.

Запрет индексации временных и системных папок

Кроме стандартных /wp-admin/ и /wp-includes/, можно закрыть доступ к кешу, папкам с бэкапами и загрузкам, если они не предназначены для индексации:

User-agent: *
Disallow: /wp-content/cache/
Disallow: /wp-content/backups/
Disallow: /wp-content/uploads/private/

Это поможет избежать попадания в индекс лишних файлов и повысит безопасность.

Запрет индексации страниц с параметрами и пагинацией

Пагинация и фильтры часто создают дублированный контент. Чтобы избежать проблем с SEO, можно запретить индексацию таких URL:

User-agent: *
Disallow: /*?*
Disallow: /page/

Но будьте осторожны: слишком строгие запреты могут ограничить полезную индексацию.

Запрет индексации пользовательских разделов и плагинов

Если вы используете плагины с собственными URL, например, для опросов (Quizle), видео (OmniVideo) или отзывы (Expert Review), и не хотите, чтобы эти страницы индексировались, добавьте их в Disallow:

User-agent: *
Disallow: /quizle/
Disallow: /omnivideo/
Disallow: /expert-review/

Пример кода для динамического добавления правил в robots.txt из functions.php

Если необходимо программно управлять содержимым robots.txt, можно подключиться к фильтру robots_txt в WordPress. Пример функции, добавляющей запрет на индексацию папки /private-data/:

function wpsolution_add_robots_rules( $output, $public ) {
    $output .= "\nUser-agent: *\nDisallow: /private-data/\n";
    return $output;
}
add_filter( 'robots_txt', 'wpsolution_add_robots_rules', 10, 2 );

Добавьте этот код в файл functions.php вашей темы или в собственный плагин. Это удобно, если вы не хотите создавать файл на сервере или хотите динамически изменять правила.

Как проверить и протестировать robots.txt на сайте

После настройки важно проверить корректность файла и его работу:

Откройте https://ваш_сайт/robots.txt в браузере и убедитесь, что отображается корректный файл.
Используйте инструменты Яндекс.Вебмастер и Google Search Console, где есть проверка и тестирование robots.txt.
Проверьте, что запрещённые страницы действительно не индексируются, а разрешённые доступны.
Используйте онлайн-сервисы для анализа robots.txt, например, TechnicalSEO Robots.txt Tester.

Итоги: оптимальная настройка robots.txt для WordPress

Файл robots.txt – это важный элемент SEO и безопасности сайта на WordPress. Грамотное его использование помогает контролировать доступ поисковых роботов, защищать служебные разделы и улучшать индексацию.

Основные рекомендации:

Создавайте реальный файл robots.txt в корне сайта или управляйте им через плагины.
Запрещайте индексацию /wp-admin/, /wp-includes/ и страниц входа.
Добавляйте запреты для временных и приватных папок.
Проверяйте файл в Google Search Console и Яндекс.Вебмастере.
При необходимости используйте динамическое добавление правил через фильтр WordPress.

Для удобства управления SEO и роботами рекомендуем использовать плагин Clearfy Pro, который среди прочих функций позволяет гибко управлять robots.txt и другими важными настройками сайта.