На небольшом сайте дубли пагинации обычно незаметны. На контентном проекте, каталоге записей или блоге с активной рубрикацией они быстро раздувают индекс: /page/2/, /page/3/, архивы авторов, теги и служебные страницы начинают конкурировать между собой. В итоге поисковик тратит обход на второстепенные URL, а важные материалы получают меньше внимания.
Ниже — рабочий сценарий: как понять, что именно у вас дублируется, что закрывать от индексации, а что лучше оставить доступным для обхода. Без универсальных рецептов, потому что в WordPress это зависит от структуры сайта и темы.
Когда проблема действительно есть
Сначала проверьте симптомы, а не правьте robots.txt наугад. Типичный набор признаков:
- в поиске видны страницы вида
/category/news/page/2/или/tag/..., хотя они не несут самостоятельной ценности; - в Google Search Console растёт число страниц, обнаруженных, но не проиндексированных;
- в выдаче всплывают архивы с одинаковыми заголовками и почти одинаковыми сниппетами;
- на сайте много тегов, авторских архивов и пагинации в рубриках;
- в теме не настроены canonical и meta robots для архивов.
Что смотреть в первую очередь
Откройте несколько URL вручную и сравните:
- есть ли у страницы уникальный контент, кроме списка записей;
- меняется ли title на страницах пагинации;
- проставлен ли canonical на саму страницу или на первую страницу архива;
- не закрыты ли важные разделы случайно через
noindexили robots.txt.
Если у вас уже стоит SEO-плагин, проверьте его настройки архивов. Часто проблема не в WordPress, а в том, что тема и плагин одновременно пытаются управлять мета-тегами.
Что именно закрывать от индексации
Не все архивы одинаково бесполезны. Пагинацию рубрик и тегов обычно закрывают от индексации, если на второй и следующих страницах нет самостоятельной ценности. При этом первую страницу рубрики часто оставляют открытой: она может собирать трафик по тематическому запросу.
Чаще всего имеют смысл такие правила:
| Тип страницы | Что делать | Почему |
|---|---|---|
| Пагинация рубрик и тегов | noindex, follow | Не плодить дубли, но сохранить обход ссылок |
| Архивы авторов на небольшом сайте | Закрыть или удалить | Обычно мало уникальной ценности |
| Страницы поиска сайта | noindex, follow | Поисковая выдача внутри сайта не должна индексироваться |
| Медиа-вложения | Редирект или noindex | Часто создают пустые страницы |
Если сайт большой и архивы реально полезны, не закрывайте их целиком. Иногда достаточно убрать из индекса только пагинацию, а первую страницу архива оставить открытой.
Пошаговое решение через код
Если вы не хотите зависеть от настроек плагина, можно управлять мета-роботами через фильтр wp_robots. Это безопаснее, чем править шаблоны вручную, и работает на уровне ядра.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_paged() && ( is_category() || is_tag() || is_tax() ) ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
if ( is_search() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот код можно добавить в дочернюю тему или в небольшой mu-plugin. Важный момент: follow не всегда выводится в HTML буквально, но смысл в том, чтобы не блокировать обход ссылок на странице.
Если нужно точечно закрыть только страницы пагинации архивов, а не все архивы подряд, используйте более узкое условие:
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_paged() && ( is_home() || is_archive() ) ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Когда лучше не писать код
Если у вас уже стоит SEO-плагин и команда не готова поддерживать кастомный код, настройка через интерфейс часто проще. Например, в Clearfy Pro есть инструменты для чистки дублей и управления служебными страницами: https://wpshop.ru/plugins/clearfy. Но даже в этом случае важно понимать, какие URL реально закрываются, а какие остаются доступными для обхода.
Как проверить, что решение сработало
После внедрения не ограничивайтесь просмотром исходного кода главной страницы. Проверять нужно конкретные типы URL.
- Откройте страницу пагинации рубрики, например
/category/news/page/2/. - Посмотрите исходный код и найдите meta robots или заголовок
X-Robots-Tag, если он используется на уровне сервера. - Убедитесь, что canonical не указывает на случайный URL.
- Проверьте, что первая страница рубрики осталась индексируемой, если это было задумано.
- В Search Console отправьте проверку URL и посмотрите, как Google видит страницу после переобхода.
Если вы используете плагин кэширования, очистите кэш после изменений. Иначе в браузере вы можете видеть старую версию страницы и решить, что правило не сработало.
Частые ошибки и как их исправить
Закрыли в robots.txt вместо meta robots
Это частая ошибка. Disallow в robots.txt не убирает URL из индекса, если он уже известен поисковику. Для дублей пагинации чаще нужен именно noindex, а не запрет обхода.
Поставили noindex на все архивы подряд
Так можно случайно убрать из индекса полезные рубрики. Если архивы приводят трафик, закрывайте только пагинацию или только конкретные типы архивов, которые не несут ценности.
Сломали canonical
Иногда тема выводит canonical на первую страницу, а SEO-плагин — на текущую. В результате поисковик получает противоречивые сигналы. Решение простое: оставьте один источник управления canonical.
Не учли страницы поиска и медиа-вложения
На многих сайтах именно они создают лишний шум в индексе. Если поиск по сайту доступен в выдаче, а вложения открываются как отдельные страницы без контента, их тоже нужно проверить.
Чек-лист перед публикацией изменений
- Проверены рубрики, теги, авторские архивы и поиск по сайту.
- Определено, какие страницы должны остаться индексируемыми.
- На пагинации стоит
noindex, а не случайный запрет в robots.txt. - Canonical не конфликтует с SEO-плагином или темой.
- Кэш очищен на уровне сайта и CDN, если он есть.
- В Search Console отправлены важные URL на переобход.
Что делать, если сайт большой
На крупных проектах лучше не пытаться решить всё одной настройкой. Сначала соберите список типов URL, которые реально создают дубли: пагинация, теги, архивы авторов, вложения, внутренний поиск. Потом решите, что закрывать, что редиректить, а что оставить как есть. Такой подход снижает риск случайно выкинуть из индекса полезные страницы.
Если нужно быстро навести порядок без глубокой доработки темы, разумно начать с чистки дублей, служебных страниц и архивов через инструмент, который не ломает шаблоны. Но даже тогда финальную проверку лучше делать вручную на нескольких URL каждого типа.
Самый надёжный критерий простой: после изменений поисковик должен видеть меньше мусорных страниц, а важные рубрики и записи — без конфликтующих сигналов. Если этого не произошло, значит, где-то остался второй источник управления мета-тегами или закрыт не тот тип страниц.