Если нужно спрятать от поисковиков тестовый сайт, служебные страницы или отдельные разделы WordPress, важно не путать три разных инструмента: robots.txt, noindex и meta robots. Они решают похожую задачу, но работают по-разному. Ошибка в выборе способа часто приводит к тому, что закрытая страница всё равно попадает в индекс, а нужные страницы, наоборот, выпадают из поиска.
Короткий ответ такой: robots.txt ограничивает обход, noindex запрещает индексирование страницы, а meta robots — это способ передать поисковику директиву прямо в HTML-коде страницы. Для WordPress обычно достаточно закрыть отдельные страницы через noindex, а robots.txt использовать только там, где нужно ограничить обход технических разделов или не допустить лишнюю нагрузку на сайт.
Что именно нужно закрывать от индексации
Перед настройкой стоит понять, что вы хотите скрыть. От этого зависит способ.
- Тестовый сайт или staging-копию — лучше закрывать целиком, чтобы поисковики не увидели дубли основного сайта.
- Служебные страницы — страницы входа, корзины, оформления заказа, личного кабинета, результаты внутреннего поиска, страницы благодарности после отправки формы.
- Отдельные разделы — архивы тегов, авторов, дат, лишние таксономии, фильтры, технические страницы.
- Конкретные записи и страницы — черновые материалы, внутренние документы, посадочные страницы для рекламы, которые не должны попадать в поиск.
Если страница уже доступна по прямой ссылке, одного запрета в robots.txt обычно недостаточно. Поисковик может узнать о ней из внешних ссылок или из карты сайта и показать URL в выдаче без контента. Для реального исключения из индекса нужен noindex.
Когда использовать robots.txt, а когда noindex
| Инструмент | Что делает | Когда подходит | Ограничение |
|---|---|---|---|
robots.txt | Запрещает или ограничивает обход | Для технических разделов, файлов и каталогов, которые не должны сканироваться | Не гарантирует удаление из индекса |
noindex | Просит поисковик не включать страницу в индекс | Для отдельных страниц, архивов, разделов и шаблонов | Страница должна быть доступна для обхода, чтобы поисковик увидел директиву |
| meta robots | Передаёт директиву в HTML страницы | Когда нужно управлять индексированием конкретной страницы или типа страниц | Работает только на страницах, где есть HTML-код |
На практике это выглядит так: если вы хотите скрыть от поиска страницу «Спасибо за заявку», ставьте noindex. Если хотите не тратить краулинговый бюджет на служебный каталог, можно закрыть его в robots.txt. Если нужно убрать из индекса целый тип страниц, удобнее использовать meta robots или настройки SEO-плагина.
Как закрыть WordPress от индексации целиком
Если сайт ещё в разработке и его не должны видеть поисковики, самый простой путь — включить запрет индексации в настройках WordPress. Это не заменяет полноценную защиту паролем, но для временного скрытия сайта обычно достаточно.
В админке откройте Настройки → Чтение и включите опцию «Попросить поисковые системы не индексировать сайт». WordPress добавит соответствующий сигнал для поисковиков и постарается не показывать сайт в выдаче.
Но есть важный нюанс: эта галочка не блокирует доступ к сайту для всех поисковиков и не удаляет уже проиндексированные страницы мгновенно. Если сайт действительно тестовый, лучше дополнительно:
- ограничить доступ по паролю на уровне хостинга или через basic auth;
- не публиковать тестовую копию в открытом доступе без необходимости;
- проверить, что в карте сайта нет лишних URL;
- после запуска снять запрет индексации, иначе сайт останется невидимым для поиска.
Если вы работаете с staging-версией на том же домене или поддомене, не полагайтесь только на одну галочку в WordPress. На практике этого часто недостаточно, особенно если копия уже была доступна поисковикам.
Как закрыть отдельную страницу или запись через meta robots
Для отдельных страниц самый надёжный вариант — директива noindex. В WordPress её обычно задают через SEO-плагин, потому что штатный редактор не даёт удобного управления meta robots для каждой записи.
В большинстве SEO-плагинов логика одинаковая: в настройках страницы или записи есть параметр индексации, где можно запретить показ в поиске. После сохранения в HTML страницы появится meta robots с директивой noindex. Поисковик сможет зайти на страницу, увидеть запрет и убрать её из индекса.
Такой способ подходит для:
- страниц благодарности после оформления заказа или отправки формы;
- внутренних страниц, которые не должны ранжироваться;
- дублей контента, если они нужны пользователям, но не нужны в поиске;
- страниц с тонким или временным контентом.
Если у вас нет SEO-плагина, можно добавить meta robots вручную через код темы, но это имеет смысл только если вы понимаете, где именно нужно менять шаблон. Для большинства сайтов проще и безопаснее использовать плагин, чем править тему вручную.
Как настроить robots.txt в WordPress без лишнего риска
robots.txt находится в корне сайта и отвечает за правила обхода. В WordPress его часто используют для закрытия технических директорий, но здесь легко переборщить. Если запретить слишком много, поисковик перестанет нормально обходить важные страницы и ресурсы.
Базовый файл обычно выглядит так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpЭто стандартный и безопасный минимум для большинства сайтов. Он не закрывает фронтенд сайта от индексации, а лишь ограничивает обход административной части. Если вы добавляете свои правила, делайте это точечно. Например, можно закрыть служебный каталог или результаты внутреннего поиска, если они не должны сканироваться.
Не стоит закрывать в robots.txt CSS, JS и изображения без необходимости. Современные поисковики используют эти файлы для корректной оценки страницы. Если заблокировать ресурсы, можно получить проблемы с рендерингом и неверной оценкой страниц.
Ещё одна частая ошибка — пытаться убрать страницу из индекса только через Disallow. Если URL уже известен поисковику, он может остаться в индексе как «URL без описания». Чтобы убрать страницу полностью, нужен именно noindex, а не только запрет обхода.
Что проверить после настройки
После изменений не ограничивайтесь тем, что страница «визуально скрыта». Нужно проверить, как её видит поисковик.
- Откройте страницу в браузере и убедитесь, что она доступна или, наоборот, закрыта так, как задумано.
- Посмотрите исходный код страницы и найдите meta robots, если вы настраивали
noindex. - Проверьте, не попала ли страница в XML-карту сайта, если она не должна индексироваться.
- В Search Console запросите проверку URL, если нужно ускорить переобход.
- Убедитесь, что закрытая страница не получает внутренние ссылки с важных разделов сайта без необходимости.
Если страница уже была в индексе, удаление может занять время. Это нормально: поисковик должен заново обойти URL и увидеть новый сигнал. Быстрее всего изменения обычно подхватываются тогда, когда страница доступна для обхода и на ней стоит noindex.
Типичные ошибки, из-за которых страница всё равно индексируется
Самая неприятная ситуация — когда владелец сайта уверен, что всё закрыл, а URL продолжает появляться в поиске. Обычно причина одна из этих:
- страница закрыта только в
robots.txt, но не имеетnoindex; - в шаблоне осталась ссылка на закрытый URL, и поисковик продолжает его находить;
- страница есть в XML-карте сайта;
- на staging-сайте забыли закрыть доступ полностью;
- директива
noindexдобавлена, но страница отдаёт ошибку, редирект или не индексируется из-за других технических проблем; - в кэше или CDN осталась старая версия страницы без нужной директивы.
Если закрываете раздел сайта, сначала уберите его из карты сайта и внутренних ссылок, затем поставьте noindex, а уже потом при необходимости ограничьте обход через robots.txt. Такой порядок снижает шанс, что поисковик будет долго держать URL в индексе.
Какой способ выбрать в вашем случае
Если нужен короткий практический ориентир, используйте его так:
- Тестовый сайт — закрыть доступ полностью и дополнительно включить запрет индексации.
- Отдельная страница — поставить
noindexчерез meta robots или SEO-плагин. - Технический каталог — ограничить обход через
robots.txt, если каталог не должен сканироваться. - Раздел, который нужен пользователям, но не нужен в поиске — использовать
noindex, а не толькоrobots.txt.
Если вам нужен именно управляемый и аккуратный контроль индексации в WordPress, удобнее всего настраивать его через SEO-плагин: так проще закрывать отдельные страницы, архивы и шаблоны без ручного редактирования кода. Но сам принцип остаётся прежним: robots.txt управляет обходом, noindex — индексированием, а meta robots передаёт это правило конкретной странице.