Как удалить или исправить файл robots.txt в WordPress: практическое руководство

Автор: Наталья Волкова | Опубликовано: 04.12.2025

Файл robots.txt играет ключевую роль в управлении индексацией сайта поисковыми системами. Однако в WordPress часто возникает ситуация, когда виртуальный файл robots.txt создается автоматически, и удалить или изменить его напрямую через файловую систему невозможно. В этой статье на wpstudy.ru мы подробно разберем, как правильно удалить или изменить файл robots.txt в WordPress, какие плагины помогут в этом, и как можно программно управлять его содержимым.

Что такое файл robots.txt и зачем он нужен в WordPress

Файл robots.txt — это простой текстовый файл, который размещается в корне сайта и содержит инструкции для поисковых роботов, какие страницы или разделы сайта можно индексировать, а какие — нет. В WordPress по умолчанию отсутствует физический файл robots.txt, но движок создает его виртуальную версию на лету при обращении к /robots.txt. Это может приводить к проблемам, если вам нужно конкретно управлять правилами индексации.

Иногда возникает необходимость полностью удалить этот файл, например, если он блокирует важные страницы от индексации, либо заменить на свой, с более тонкой настройкой. Ниже мы рассмотрим, как это сделать.

Почему нельзя просто удалить robots.txt в WordPress

В отличие от обычных файлов, виртуальный robots.txt в WordPress не хранится в файловой системе, а генерируется динамически через функцию wp_robot_txt(). Поэтому попытка удалить файл через FTP или через файловый менеджер хостинга не даст результата — при обращении к /robots.txt WordPress вновь сгенерирует дефолтный файл.

Чтобы удалить или изменить этот файл, нужно либо создать физический файл robots.txt в корне, который будет иметь приоритет над виртуальным, либо программно изменить или отключить генерацию виртуального файла.

Создание физического файла robots.txt для замены виртуального

Самый простой и надежный способ — создать свой файл robots.txt в корне сайта:

Подключитесь к серверу через FTP или используйте файловый менеджер хостинга.
В корневой папке WordPress создайте файл robots.txt.
Добавьте нужные инструкции. Например:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://wpstudy.ru/sitemap.xml

После этого при запросе https://wpstudy.ru/robots.txt будет выдаваться именно этот файл, а не виртуальный.

Управление файлом robots.txt через плагины WordPress

Если вы хотите более гибко управлять содержимым robots.txt без прямого редактирования файлов, используйте плагины. Вот несколько популярных решений:

1. Yoast SEO

Yoast SEO позволяет редактировать robots.txt прямо из админки:

В панели WordPress перейдите в раздел «SEO» > «Инструменты».
Откройте редактор файлов.
Если файла robots.txt нет, плагин предложит создать его.
Добавьте или измените правила и сохраните.

Это самый удобный способ, если вы уже используете Yoast SEO.

2. All in One SEO

Плагин All in One SEO также поддерживает редактирование robots.txt через интерфейс, аналогично Yoast.

3. WP Robots Txt

Легкий плагин, который специально предназначен для управления файлом robots.txt. После установки вы сможете добавить свои правила без создания физического файла.

Программное удаление или редактирование виртуального robots.txt

Если вы хотите полностью отключить виртуальный файл robots.txt в WordPress или заменить его содержимое программно, можно использовать фильтр robots_txt. Например, чтобы очистить содержимое файла, добавьте следующий код в файл functions.php вашей темы или в плагин:

function wpstudy_remove_robots_txt($output, $public) {
    // Возвращаем пустую строку, чтобы отключить виртуальный robots.txt
    return '';
}
add_filter('robots_txt', 'wpstudy_remove_robots_txt', 10, 2);

Если нужно задать собственный набор правил, замените return ''; на нужный текст:

function wpstudy_custom_robots_txt($output, $public) {
    $output = "User-agent: *\nDisallow: /wp-admin/\nAllow: /wp-admin/admin-ajax.php\nSitemap: https://wpstudy.ru/sitemap.xml\n";
    return $output;
}
add_filter('robots_txt', 'wpstudy_custom_robots_txt', 10, 2);

Этот способ удобен, если вы хотите полностью контролировать содержимое файла через код и не хотите создавать физический файл.

Проверка и отладка файла robots.txt

После внесения изменений важно проверить, что robots.txt работает корректно:

Откройте в браузере https://wpstudy.ru/robots.txt и убедитесь, что содержимое соответствует вашим ожиданиям.
Используйте инструменты Google Search Console — раздел «Проверка файла robots.txt», чтобы увидеть, как Google видит файл и какие страницы разрешены или запрещены к индексации.
Обратите внимание на кэширование — иногда сервер или CDN могут кэшировать старый файл. Очистите кэш, если изменения не отображаются.

Как удалить или исправить файл robots.txt в WordPress