Дубли страниц в Битрикс: как найти и закрыть

Дубли — это несколько адресов, отдающих одинаковое или почти одинаковое содержимое. Поисковая система вынуждена выбирать, какую версию показывать, тратит на обход лишние ресурсы, а вес страницы размывается между копиями.

На сайтах под 1С-Битрикс дубли появляются штатным образом — из-за особенностей работы каталога, фильтров и пагинации. Разберём, откуда они берутся, как их найти и чем закрывать каждый тип.

Технические дубли

Возникают из-за того, что одна страница доступна по нескольким адресам.

Все они закрываются на уровне веб-сервера. Настройка разобрана в статье Как настроить редиректы в Битрикс.

Проверяется просто: откройте сайт по каждому из вариантов и посмотрите, происходит ли переадресация. Часто выясняется, что часть пар не закрыта.

Дубли каталога

Самая массовая группа — и самая специфичная для Битрикс.

Товар в нескольких разделах

Если элемент привязан к нескольким разделам, он доступен по нескольким адресам:

/catalog/mebel/stoly/stol-pismennyj/
/catalog/novinki/stol-pismennyj/
/catalog/rasprodazha/stol-pismennyj/

Решение — канонический адрес, указывающий на основной раздел. Механика описана в статье Канонические URL в 1С-Битрикс.

Страницы умного фильтра

Каждая комбинация фильтра — отдельный адрес с тем же набором товаров в разном порядке. Комбинаций могут быть тысячи.

Работающий подход — разделить фильтры на две группы:

• Приоритетные комбинации — те, которые люди действительно ищут («столы белые», «кухни угловые»). Для них создают посадочные страницы со своими метатегами и текстом, открытые для индексации.
• Все остальные — закрывают от индексации через robots.txt или метатег noindex.

Открывать все комбинации подряд — распространённая ошибка: в индекс попадают десятки тысяч почти одинаковых страниц.

Пагинация

Вторая и последующие страницы списка обычно имеют те же метатеги, что первая. Минимум, который нужно сделать: добавить номер страницы в заголовок. Чаще страницы пагинации просто закрывают от индексации, оставляя первую.

Сортировка и вид отображения

/catalog/stoly/?sort=price&order=asc
/catalog/stoly/?display=list

Содержимое то же, порядок другой. Такие параметры закрывают в robots.txt — разбор правил есть в статье Robots.txt в 1С-Битрикс.

Дубли из-за параметров в адресе

Рекламные метки и идентификаторы сессий создают бесконечное число вариантов одной страницы:

/catalog/stoly/?utm_source=yandex&utm_medium=cpc
/catalog/stoly/?PAGEN_1=1
/catalog/stoly/?clear_cache=Y

Закрываются каноническим адресом на странице и правилами в robots.txt. Канонический адрес здесь надёжнее: рекламные метки бывают произвольными, все в robots не перечислить.

Смысловые дубли

Отдельная группа: адреса разные, содержимое разное, а смысл один. Технически это не дубли, но поисковая система воспринимает их так же.

• Похожие товары с одинаковым описанием. Пять моделей стола, отличающихся только цветом, с идентичным текстом.
• Страница раздела и посадочная страница под тот же запрос.
• Скопированные описания от поставщика. Тот же текст — на сотне других сайтов.

Такие случаи решаются не техникой, а контентом: либо объединением в один товар с торговыми предложениями, либо переписыванием описаний.

Как найти дубли

1. Панели веб-мастеров. Показывают страницы с одинаковыми заголовками и описаниями — это самый быстрый способ увидеть масштаб.
2. Обход сайта краулером. Находит технические дубли и страницы с совпадающими метатегами.
3. Поиск по фрагменту описания. Возьмите характерную фразу из карточки товара и поищите — так находятся скопированные тексты.
4. Сравнение числа страниц. Если в индексе страниц заметно больше, чем товаров в каталоге, значит индексируется что-то лишнее.

Последний пункт — самая быстрая проверка. Тысяча товаров и пятьдесят тысяч страниц в индексе означают, что открыты фильтры или пагинация.

Чем закрывать: сводка

Частые ошибки

• Канонический адрес указывает сам на себя на каждой странице. Дубли при этом не закрываются вовсе.
• Страница закрыта в robots.txt и имеет канонический адрес. Робот не может прочитать страницу и не узнает про канонический адрес.
• Все фильтры открыты для индексации. Индекс заполняется мусором, обход сайта тратится впустую.
• Редирект настроен только для главной. Внутренние страницы остаются доступны и с www, и без.
• Дубли закрыли, но старые адреса остались в карте сайта. Робот продолжает их обходить.
• Работа сделана один раз. После добавления новых разделов или фильтров дубли появляются снова.

Итог

Дубли на сайте под 1С-Битрикс появляются из четырёх источников: разные адреса одной страницы, привязка товаров к нескольким разделам, комбинации фильтра с пагинацией и параметры в адресной строке.

Каждому типу соответствует свой инструмент: техническим дублям — 301 редирект, каталожным — канонические адреса, фильтрам — закрытие от индексации с открытием только приоритетных комбинаций. Начинать стоит с оценки масштаба: сравните число товаров в каталоге и число страниц в индексе.