Как закрыть от индексации отдельные страницы WordPress без поломки SEO

Служебные страницы в WordPress часто попадают в индекс не потому, что сайт «плохо оптимизирован», а потому что им просто никто не поставил понятные правила. Это могут быть страницы поиска, архивы автора на небольшом сайте, тестовые записи, внутренние шаблоны, страницы благодарности после формы, результаты фильтров или технические URL, которые не должны конкурировать с основным контентом.

Проблема в том, что закрыть страницу от индексации можно по-разному, и не все способы одинаково полезны. Иногда нужен noindex, иногда достаточно убрать ссылку из карты сайта, а иногда страницу вообще лучше отдать с 404 или 410. Ниже — рабочая схема без лишней теории.

Когда страницу нужно закрывать, а когда удалять

Если URL нужен пользователю, но не должен ранжироваться, обычно используют noindex. Если страница больше не нужна и на неё нет смысла вести трафик, лучше удалить её и вернуть корректный код ответа. Это разные задачи.

Подходы и их смысл

Если задача именно «закрыть от индексации», а не «спрятать от робота», ориентируйтесь на noindex. Это самый предсказуемый вариант для служебных страниц.

Диагностика: почему страница уже попала в индекс

Перед правкой проверьте, что именно индексируется и почему. Частая ошибка — закрывать не тот URL или пытаться исправить всё через robots.txt, когда проблема в метатеге или в sitemap.

• Откройте страницу в браузере и посмотрите исходный код на наличие meta name="robots".
• Проверьте, есть ли URL в XML-карте сайта.
• Посмотрите, не ведут ли на страницу внутренние ссылки из меню, виджетов или хлебных крошек.
• Если страница уже в индексе, проверьте её статус в Google Search Console или Яндекс Вебмастере.

Если URL доступен по прямой ссылке и на нём нет noindex, поисковик вполне может оставить его в индексе даже при запрете обхода в robots.txt. Поэтому сначала нужно понять, что именно вы хотите изменить: индексацию, обход или видимость ссылок на страницу.

Пошаговое решение через код темы или мини-плагин

Если у вас есть конкретные страницы, которые нужно закрыть от индексации, удобнее сделать это кодом. Так вы не зависите от интерфейса плагина и можете управлять логикой точечно.

Ниже пример для functions.php дочерней темы или отдельного мини-плагина. Он добавляет noindex, follow на выбранные страницы по ID.

<?php
add_filter( 'wp_robots', function( $robots ) {
    if ( is_page( array( 12, 34, 56 ) ) ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот способ работает на современных версиях WordPress, где используется фильтр wp_robots. Он безопаснее, чем вручную печатать метатег в шаблоне, потому что не ломает разметку и не конфликтует с темой.

Как закрыть страницы по шаблону или типу записи

Если у вас есть отдельный шаблон для служебных страниц, можно ориентироваться на него. Например, закрывать все страницы с шаблоном template-thankyou.php.

<?php
add_filter( 'wp_robots', function( $robots ) {
    if ( is_page_template( 'template-thankyou.php' ) ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Для записей пользовательского типа логика похожая: проверяете is_singular() и нужный post_type. Это удобно, если у вас есть отдельный тип контента для внутренних материалов, которые не должны попадать в поиск.

Как сделать это через SEO-плагин

Если вы не хотите править код, используйте SEO-плагин, который умеет задавать noindex на уровне записи, страницы или архива. Это особенно удобно для редакторов: они могут закрывать материал прямо в админке без участия разработчика.

Важный момент: не все плагины одинаково хорошо решают задачу. Одни только ставят метатег, другие ещё убирают URL из карты сайта и дают управлять архивами. Если у вас уже стоит плагин для SEO, сначала проверьте его возможности, а не ставьте второй такой же.

Если нужен более широкий набор технических настроек — чистка дублей, управление индексированием, отключение лишних архивов и служебных страниц — это часто закрывается одним инструментом вроде Clearfy Pro. Но даже в этом случае логику закрытия лучше проверять вручную, а не полагаться на галочку в интерфейсе.

Что делать с robots.txt и sitemap

robots.txt полезен, когда нужно ограничить обход технических разделов, но он не заменяет noindex. Если страница уже в индексе, запрет в robots.txt может даже затруднить её переобход и удаление.

С XML-картой сайта логика другая: если URL не должен индексироваться, его лучше убрать из sitemap. Иначе вы отправляете поисковику противоречивые сигналы: здесь не индексируй, но вот ссылка на страницу есть.

Практически это означает следующее:

• для служебных страниц ставьте noindex;
• убирайте их из XML-sitemap;
• не оставляйте на них заметные внутренние ссылки;
• если страница больше не нужна, отдавайте 404 или 410.

Проверка результата после внедрения

После настройки не ограничивайтесь открытием страницы в браузере. Нужно проверить, что поисковик видит именно тот сигнал, который вы задумали.

1. Откройте страницу и посмотрите исходный код: должен быть метатег или заголовок с noindex.
2. Проверьте HTTP-заголовки, если вы добавляли их на уровне сервера или плагина.
3. Убедитесь, что URL исчез из XML-карты сайта.
4. Посмотрите, нет ли на страницу внутренних ссылок из шаблона или меню.
5. В Search Console отправьте URL на повторную проверку, если он уже был в индексе.

Для быстрой проверки на сервере можно использовать curl и посмотреть HTML-ответ:

curl -I https://example.com/thank-you/

Если вы закрывали страницу через метатег, откройте не только заголовки, но и сам HTML. Иногда метатег не выводится из-за конфликта с темой, кэшем или другим SEO-плагином.

Частые ошибки и как их исправить

Закрыли страницу в robots.txt, но она осталась в индексе

Это нормальная ситуация. robots.txt запрещает обход, но не всегда удаляет уже известный URL. Исправление: добавьте noindex или верните страницу в обход, чтобы поисковик смог увидеть запрет на индексацию.

Поставили noindex, но URL всё ещё в sitemap

Такой конфликт мешает быстрой переоценке страницы. Уберите URL из карты сайта и дождитесь переобхода. Если плагин сам добавляет страницу в sitemap, проверьте настройки исключений.

Закрыли важные страницы по ошибке

Часто это происходит, когда используют слишком широкое условие вроде is_page() без списка ID или закрывают весь архивный раздел. Исправление простое: сузьте условие и проверьте шаблон на тестовом сайте или в staging.

Поставили noindex, но забыли про внутренние ссылки

Если на страницу ведёт меню, блоки в сайдбаре или хлебные крошки, поисковик всё равно будет её находить. Это не ошибка само по себе, но для служебных URL лучше убрать лишние ссылки, чтобы не тратить краулинговый бюджет.

Безопасность и производительность

Если вы делаете закрытие от индексации кодом, не вставляйте логику в случайный шаблон. Лучше использовать дочернюю тему или мини-плагин, чтобы обновление темы не затёрло изменения. Для сайтов с несколькими редакторами удобнее вынести правила в один небольшой плагин и документировать, какие URL и почему закрыты.

Ещё один практический момент: не плодите несколько решений одновременно. Если SEO-плагин уже управляет robots-метатегами, а вы сверху добавляете свой фильтр, легко получить конфликт и непредсказуемый результат. Сначала определите один источник правды для индексации.

Если на сайте много служебных страниц, полезно вести короткий список правил: что закрыто, чем закрыто и по какой причине. Это экономит время, когда через полгода нужно понять, почему конкретный URL не индексируется.

В типичном рабочем сценарии схема выглядит так: служебные страницы получают noindex, follow, удалённые материалы — 404/410, а технические разделы дополнительно исключаются из sitemap. Такой подход не даёт лишних дублей и не мешает поисковику нормально обходить полезный контент.