Многогранная навигация и SEO: более глубокий взгляд

1. факторы и стратегии
2. Типичная многогранная навигация
3. Типы совпадений и группировка
4. Тест: Как тип соответствия влияет на количество страниц?
5. Тест № 1 - Простое сопоставление «И»
6. Тест № 2 - соответствие «И», пустые результаты удалены
7. Тест № 3 - «ИЛИ»
8. Тест № 4 - Радио кнопки
9. Резюме испытаний № 1–4:
10. Тест № 5 - «ИЛИ», разделение на несколько групп
11. Тест № 6 - «И» соответствия, разбить на несколько групп
12. навынос
13. Другие вещи, которые влияют на количество страниц
14. Тест № 8 - Добавление предела нумерации
15. Разбивка на страницы
16. Выборочно блокирующие сканеры
17. Тест № 9 - Предел выбора через Meta роботов с помощью «noindex, nofollow»
18. Тест № 10 - повторение теста № 9, но с «noindex, follow»
19. Можно ли реализовать ограничение выбора с помощью robots.txt?
20. Тест № 11 - Предел выбора, через Robots.txt
21. Takeaways

факторы и стратегии

Сложная сеть факторов, определяющих количество страниц для сайта с фасетной навигацией. Это о SEO, ребята

tl; dr: перейдите к каждому разделу «Еда на вынос», если вы хотите несколько идей для управления фасетной навигацией и SEO. Но делайте это на свой страх и риск. «Почему» так же важно, как «что».

Helpfullee поднял прекрасный вопрос, спрашивая, знаем ли мы, что поисковые системы действительно генерируют и сканируют эти граненые страницы. Ответ - «да». Но не верьте нам на слово: робот Google ненадежен, и каждый сайт отличается. Просмотрите ваши файлы журнала, отфильтровывая Googlebot. Это покажет вам, попадает ли робот Googlebot на все тонкие страницы или страницы без содержания, созданные с помощью граненой навигации.

Если вы когда-нибудь покупали что-либо в Интернете, вы видели многогранную навигацию. Это список интерактивных параметров, обычно на левой панели, которые можно использовать для фильтрации результатов по марке, цене, цвету и т. Д. Многогранная навигация позволяет комбинировать и сопоставлять параметры в любой комбинации, которую пожелает пользователь. Он популярен в крупных интернет-магазинах, поскольку позволяет пользователю точно анализировать только то, что ему интересно.

Типичная многогранная навигация

Пример граненой навигации

Но это может вызвать огромные проблемы для поисковых систем, потому что он генерирует миллиарды бесполезных почти дублированных страниц. Это тратит впустую бюджет сканирования, снижает вероятность того, что весь реальный контент будет проиндексирован, и дает поисковым системам сообщение о том, что сайт представляет собой в основном низкокачественные нежелательные страницы (потому что на данный момент это так).

Во многих статьях рассказывается о многогранной навигации и о том, как смягчить возникающие при этом проблемы SEO. Это реактивные стратегии: как запретить поисковым системам сканировать и индексировать миллиарды страниц, созданных вашей многогранной навигацией.

Это не одна из тех статей с практическими рекомендациями.

Вместо этого речь идет о решениях, которые создают массовое дублирование, и о том, как избежать их с самого начала. Речь идет о, казалось бы, безобидном UX-выборе и его непреднамеренных последствиях. Моя цель - дать вам более глубокое понимание того, как каждое решение влияет на просматриваемость и количество страниц. Я надеюсь, что это даст вам знания, которые вы можете использовать, как во избежание проблем до их возникновения, так и для смягчения проблем, которых нельзя избежать.

Типы совпадений и группировка

Фасетная навигация, как правило, делится на группы со списком интерактивных опций в каждой группе. Может быть одна группа для названий брендов, другая для размеров, другая для цветов и т. Д. Параметры в группе можно комбинировать любым из нескольких способов:

• «И» соответствие - с этим типом соответствия магазин показывает элемент, только если он соответствует всем выбранным параметрам. Совпадение «И» чаще всего используется для функций продукта, если предполагается, что покупатель ищет определенную комбинацию функций и интересуется продуктом, только если он имеет все из них. (например, наушники с беспроводной связью и с шумоподавлением)
• «ИЛИ» соответствие - с этим типом соответствия магазин отображает элементы, которые соответствуют любой из выбранных опций. Это может быть использовано для списков торговых марок, размеров, цветов, ценовых диапазонов и многих других. Здесь предполагается, что пользователь интересуется несколькими разными вещами и хочет видеть объединенный список, который включает все из них. (например, все лыжные шапки доступны в красном, розовом или желтом цвете).
• Подход «радио-кнопка» - с этим типом соответствия может быть выбран только один вариант за раз. Выбор одной опции отменяет выбор всех остальных. Здесь предполагается, что варианты являются на 100% взаимоисключающими, и никто не будет заинтересован в том, чтобы видеть более одного из них одновременно. Переключатели часто используются для установки порядка сортировки. Это также иногда используется для выбора между взаимоисключающими категориями. (например, указание марки / модели смартфона при покупке чехлов для телефона) Некоторые реализации переключателей требуют как минимум одну выбранную опцию (например, для порядка сортировки), а другие - нет (например, для категорий).

Параметры в данной группе могут быть объединены с использованием любого из этих типов соответствия, но сами группы почти всегда объединяются друг с другом с использованием сопоставления «И». Например, если вы выберете красный и зеленый из группы «цвета» и выберете XL и XXL из группы «размеры», то вы получите список каждого элемента, который является одним из этих двух цветов и одним из них. два размера.

Типичный реальный веб-сайт будет иметь несколько групп, использующих разные типы совпадений, с множеством вариантов между ними. Общее количество комбинаций может быть довольно большим:

В приведенном выше примере чуть более 17 миллиардов возможных комбинаций. Обратите внимание, что общее количество реальных страниц будет намного больше, чем это, потому что результаты некоторых комбинаций будут разбиты на множество страниц.

Для многогранной навигации количество страниц в конечном итоге определяется тремя основными факторами:

1. Общее количество возможных комбинаций опций - В простейшем случае (только с совпадением «И» и «ИЛИ» и без блокировки) количество комбинаций будет равно 2n, где n - количество опций. Например, если у вас есть 12 вариантов, то будет 212 или 4096 возможных комбинаций. Это становится немного сложнее, когда некоторые группы являются переключателями, и становится намного сложнее, когда вы начинаете блокировать вещи.
2. Количество подходящих элементов, найденных для данной комбинации . Количество подходящих элементов определяется многими факторами, включая тип соответствия, общее количество продуктов, долю продуктов, сопоставленных каждому параметру фильтра, и количество совпадений между параметрами.
3. Максимальное количество элементов для отображения на странице - это произвольный выбор, заданный дизайнером сайта. Вы можете установить это на любой номер, который вы хотите. Большее число означает меньше страниц, но больше беспорядка на каждой из них.

Тест: Как тип соответствия влияет на количество страниц?

Выбор типа соответствия влияет на количество страниц, влияя как на количество комбинаций параметров, так и на количество подходящих элементов на комбинацию.

Как рассчитывались эти результаты?
Все числовые результаты в этой статье были получены с помощью сценария моделирования, написанного для этой цели. Этот скрипт работает, моделируя сайт как многомерную гистограмму, которая затем многократно масштабируется и повторно объединяется с самим собой каждый раз, когда на симулируемый сайт добавляется новая опция многогранной навигации. Сценарий относительно быстро моделирует гигантские сайты с множеством групп различных типов опций. (В предыдущих статьях я всегда генерировал данные для сканирования, используя реальный сканер, работающий на тестовом веб-сайте, состоящем из реальных страниц HTML. Это хорошо работает, когда существует несколько десятков тысяч страниц, но некоторые тесты для этой статьи У меня триллионы страниц. Это займет у моего сканера больше времени, чем у всех зарегистрированных человеческих историй. Цивилизации растут и падают на протяжении веков. Я решил не ждать так долго.)

Тест № 1 - Простое сопоставление «И»

Предположим, у нас есть сайт со следующими свойствами:

• Фасетная навигация состоит из одной большой группы с 32 вариантами фильтрации, которые можно выбрать в любой комбинации.
• 10 000 товаров.
• В среднем каждый вариант фильтрации соответствует 20% продуктов.
• На сайте отображается (до) 10 товаров на странице.
• Параметры объединяются с использованием сопоставления «И».

Приведенные выше предположения дают вам сайт с:

• 4 294 967 296 различных комбинаций опций
• 4 295 064 687 страниц.
• 4 294 724 471 пустых результатов.

Очевидное: количество страниц огромно, и подавляющее большинство из них - пустые результаты. На каждые 12 625 страниц этого сайта показываются реальные продукты. Остальные показывают обостряющее сообщение «Обнаружен ноль предметов». Это ужасный пользовательский опыт и колоссальная трата бюджета обхода. Но это также возможность.

Итак, что мы можем сделать со всеми этими пустыми результатами? Если вы контролируете код на стороне сервера, вы можете удалить их. Любая опция, которая может привести к появлению страницы с надписью «Обнаружены нулевые элементы», должна быть либо выделена серым цветом (и больше не кодироваться как ссылка), либо, что еще лучше, полностью удалена. Это необходимо оценивать на стороне сервера каждый раз, когда запрашивается новая страница. Если это сделано правильно, то каждый раз, когда пользователь нажимает на другую опцию, все остальные опции, которые привели бы к пустому результату, исчезают. Это уменьшает количество страниц, а также значительно улучшает пользовательский опыт. Пользователю больше не нужно спотыкаться через лабиринт в основном тупиков, чтобы найти редкие комбинации, которые показывают продукты.

Итак, давайте попробуем это.

Тест № 2 - соответствие «И», пустые результаты удалены

Этот тест идентичен тесту № 1, за исключением того, что теперь все ссылки, которые приводят к пустым результатам, удаляются без уведомления.

На этот раз мы получаем:

• 1 149 017 (достижимых) комбинаций опций.
• 1 246 408 страниц.
• 0 пустых результатов. (очевидно, потому что мы их удалили)

Это может показаться большим, но это значительное улучшение по сравнению с предыдущим тестом. Количество страниц сократилось с миллиардов до чуть более миллиона. Это также намного лучший опыт для пользователей, так как они больше не увидят никаких бесполезных опций, которые возвращают ноль результатов. Любой сайт, который имеет навигационную навигацию, должен делать это по умолчанию.

Тест № 3 - «ИЛИ»

В этом тесте используются те же параметры, что и в тесте № 1, за исключением того, что используется сопоставление «ИЛИ»:

• Фасетная навигация все еще имеет 32 варианта фильтрации
• Есть еще 10000 продуктов.
• Каждый вариант фильтрации по-прежнему соответствует 20% продуктов.
• На сайте по-прежнему отображается 10 товаров на странице.
• Параметры теперь объединяются с использованием сопоставления «ИЛИ» вместо сопоставления «И».

Это дает нам:

• 4 294 967 296 различных комбинаций опций.
• 4,148,637,734,396 страниц (!)
• 0 пустых результатов.

Количество комбинаций точно такое же, но теперь количество страниц намного больше (в 966 раз больше), и пустых результатов больше нет. Почему количество страниц так велико? Потому что при сопоставлении «ИЛИ» каждый раз, когда вы нажимаете на новую опцию, количество совпадающих элементов увеличивается . Это противоположно сопоставлению «И», где число уменьшается . В этом тесте большинство комбинаций теперь включают почти все продукты на сайте. В тесте № 1 большинство комбинаций дали пустые результаты.

На этом новом сайте нет пустых результатов. Единственный способ получить пустой результат - если вы решите включить параметр фильтрации, который никогда не будет соответствовать чему-либо (что было бы бессмысленно). Стратегия блокировки пустых результатов не влияет на этот тип соответствия.

Тест № 4 - Радио кнопки

Этот тест использует сопоставление переключателей.

Если мы повторим Тест № 1, но с соответствием переключателя, мы получим:

• 33 разные комбинации вариантов.
• 7400 страниц.
• 0 пустых результатов.

Это возмутительно более эффективно, чем любой другой. Недостаток соответствия радиокнопок заключается в том, что он намного более ограничен с точки зрения выбора пользователя.

Вывод: всегда, по крайней мере, подумайте об использовании соответствия радиокнопок, когда вы можете обойтись без них (в любое время варианты являются взаимоисключающими). Это будет иметь драматическое влияние на количество страниц.

Резюме испытаний № 1–4:

Takeaways

• Выбор типа соответствия важен и сильно влияет на количество страниц.
• Совпадение «ИЛИ» может привести к чрезвычайно большому количеству страниц.
• Совпадение «И» не так плохо, если вы блокируете пустые результаты.
• Вы должны всегда блокировать пустые результаты.
• Блокировка пустых результатов помогает при сопоставлении «И», но не влияет на сопоставление «ИЛИ».
• Всегда используйте переключатели, когда параметры являются взаимоисключающими.

Как группировка влияет на количество страниц

До сих пор мы рассматривали количество страниц для сайтов, которые имеют одну большую группу вариантов с одинаковым типом соответствия. Это нереально. На реальном веб-сайте обычно будет много групп с разными типами соответствия. Точный способ разделения параметров на группы - еще один фактор, который может повлиять на количество страниц.

Тест № 5 - «ИЛИ», разделение на несколько групп

Давайте возьмем исходные параметры из теста № 3:

• Фасетная навигация имеет в общей сложности 32 варианта фильтрации.
• 10 000 товаров.
• В среднем каждый вариант фильтрации соответствует 20% продуктов.
• На сайте отображается до 10 товаров на странице.
• Параметры объединяются с использованием сопоставления «ИЛИ».

Но на этот раз мы повторим тест несколько раз, и каждый раз мы будем разбивать 32 варианта на разное количество групп.

Это дает нам:

Интересно, что последние два теста имеют несколько пустых результатов. Да, все группы использовали сопоставление «ИЛИ», и да, я сказал вам, что сопоставление «ИЛИ» не приводит к пустым результатам. Так что здесь происходит? Помните, что независимо от того, какие типы соответствия используются в каждой группе, группы объединяются друг с другом, используя сопоставление «И». Таким образом, если вы разбиваете группу «ИЛИ» на множество меньших групп «ИЛИ», вы приближаете поведение к группе «И».

Другой способ выразить это: предположим, что существует восемь групп с четырьмя параметрами в каждой, и пользователь выбрал ровно один параметр из каждой группы. Чтобы любой элемент отображался в этих результатах, элемент должен соответствовать всем восьми выбранным параметрам. Это функционально идентично тому, что вы получили бы, если бы эти восемь выбранных опций были частью группы «И».

Если вы блокируете пустые результаты (что вы должны делать в любом случае), то фактическое число страниц для последних двух тестов будет намного меньше, чем показано в этой таблице. Прежде чем вы начнете волноваться, обратите внимание, что вам нужно собрать несколько групп, прежде чем это начнется. Возможно, какой-то сайт может быть на рынке, где имеет смысл иметь восемь групп по четыре варианта в каждой, но такое случается не часто.

Скучное, но более практичное наблюдение состоит в том, что даже разбиение группы на две части заметно уменьшает количество страниц. Разница не огромная, но достаточно, чтобы иметь какую-то ценность. Если группа опций, использующих сопоставление «ИЛИ», может быть логически разделена на две или более меньшие группы, то это может быть целесообразным.

Тест № 6 - «И» соответствия, разбить на несколько групп

(Я включаю этот тест, потому что, если я этого не сделаю, люди скажут мне, что я забыл сделать этот тест)

Этот тест аналогичен тесту № 5, но с сопоставлением «И» вместо сопоставления «ИЛИ» (и пустые результаты теперь блокируются).

Ага. Все они имеют одинаковое количество страниц. Как это может быть? Параметры в каждой группе используют сопоставление «И», а группы объединяются друг с другом сопоставлением «И», поэтому не имеет значения, есть ли у вас одна или несколько групп. Они функционально идентичны.

навынос

Если вы хотите разделить группу «И», потому что вы думаете, что это будет иметь смысл для пользователя или будет выглядеть лучше на странице, сделайте это, но это не повлияет на количество страниц.

Другие вещи, которые влияют на количество страниц

Тест № 7 - Изменение «Товаров на странице»

В этом тесте используются следующие параметры:

• Фасетная навигация состоит из пяти групп с различным количеством опций и сочетанием разных типов совпадений.
• 10 000 товаров.
• В среднем каждый вариант фильтрации соответствует 20% продуктов.
• Ссылки на пустые результаты заблокированы.

Тест был повторен с различными значениями для «Элементы на странице».

Это дает нам:

Это имеет значение, когда значения малы, но эффект уменьшается, когда значения становятся больше.

Тест № 8 - Добавление предела нумерации

Некоторые сайты, особенно некоторые очень крупные интернет-магазины, пытаются уменьшить нагрузку на базу данных, устанавливая «предел разбиения на страницы». Это произвольный верхний предел количества страниц, которые могут быть возвращены для данного набора результатов.

Например, если заданная комбинация фильтров соответствует 512 000 товаров, а на сайте настроено отображение 10 товаров на странице, эта конкретная комбинация обычно создает 51 200 страниц. Некоторые сайты устанавливают произвольный предел, скажем, 100. Если пользователь нажимает полностью до страницы 100, дальнейшая ссылка отсутствует.

Эти сайты делают это потому, что, по сравнению с доставкой страниц в начале структуры разбиения на страницы, доставка страниц глубже в структуре разбиения на страницы создает большую нагрузку на базу данных (по техническим причинам, выходящим за рамки данной статьи). Чем больше сайт, тем больше нагрузка, поэтому самым крупным сайтам приходится устанавливать произвольный лимит.

В этом тесте используются следующие параметры:

• Фасетная навигация состоит из пяти групп с различным количеством опций и сочетанием разных типов совпадений.
• 500 000 товаров.
• В среднем каждый вариант фильтрации соответствует 20% продуктов.
• Ссылки на пустые результаты заблокированы.

Тест был повторен с различными значениями для ограничения нумерации страниц.

Это дает нам:

Это определенно улучшение, но это не в восторге. Если вы сократите ограничение нумерации страниц пополам, вы не получите вдвое меньше страниц. Это больше примерно на 90%. Но это улучшение бесплатно, потому что этот тип ограничения обычно добавляется по причинам, отличным от SEO.

Разбивка на страницы

Тест 7:

• Для более низких значений изменение «Количество элементов на странице» улучшает количество страниц на заметную величину.
• Когда значения становятся выше, эффект сужается. Это происходит потому, что большинство результатов теперь помещаются на одной странице. (и количество страниц не может быть меньше единицы)

Тест 8:

• Если у вас огромный сайт с ограничением нумерации страниц, в основном из соображений производительности базы данных, вы можете увидеть небольшую выгоду для SEO в качестве бесплатного бонуса.
• Если вы также не делаете этого, чтобы уменьшить нагрузку на базу данных, это того не стоит.

Выборочно блокирующие сканеры

Все тесты пока позволяют сканеру видеть все доступные человеку страницы. Теперь давайте посмотрим на стратегии, которые работают, блокируя страницы с помощью robots meta, robots.txt и т. Д.

Прежде чем мы это сделаем, мы должны четко понимать, что на самом деле означает «количество страниц». Здесь на самом деле важны три разных «количества страниц»:

1. Количество читаемых человеком страниц - страницы, которые может просматривать человек с помощью браузера.
2. Количество просматриваемых страниц - страницы, которые поисковому роботу разрешено запрашивать.
3. Количество индексируемых страниц - количество страниц, которые поисковой системе разрешено индексировать и потенциально показывать в результатах поиска.

Количество страниц для обхода важно, потому что оно определяет, сколько бюджета обходится впустую. Это будет влиять на то, насколько тщательно и как часто сканируется реальный контент на сайте. Индексируемое количество страниц важно, потому что оно эффективно определяет, сколько тонких, почти дублированных страниц поисковые системы будут пытаться проиндексировать. Это может повлиять на рейтинг реальных страниц сайта.

Тест № 9 - Предел выбора через Meta роботов с помощью «noindex, nofollow»

В этом тесте, если количество выбранных опций на странице превысит заранее установленный предел, в HTML будет вставлено <meta name = "robots" content = "noindex, nofollow">. Это говорит поисковым системам не индексировать страницу и не переходить по ссылкам с нее.

В этом тесте используются следующие параметры:

• Фасетная навигация состоит из пяти групп с различным количеством опций и сочетанием разных типов совпадений.
• 10 000 товаров.
• В среднем каждый вариант фильтрации соответствует 20% продуктов.
• Ссылки на пустые результаты заблокированы.

Для этого теста «предел выбора» варьируется от 0 до 5. Любая страница, на которой количество выбранных опций больше этого предела выбора, будет заблокирована через метатег роботов с noindex, nofollow.

В этих результатах количество индексируемых и просматриваемых страниц значительно сокращается, но количество просматриваемых страниц уменьшается намного меньше. Зачем? Поскольку метатег robots является частью HTML-кода страницы, которую он блокирует. Это означает, что сканер должен загрузить страницу, чтобы узнать, что она заблокирована. Метатег роботов может блокировать индексирование, но не может блокировать сканирование. Это все еще тратит впустую бюджет обхода.

Вы можете спросить: если мета-роботы не могут напрямую блокировать сканирование страницы, то почему вообще уменьшается количество страниц для сканирования? Поскольку сканеры больше не могут обращаться к самым глубоким страницам: страницы, которые ссылаются на эти страницы, больше не отслеживаются и не индексируются. Мета-роботы не могут напрямую блокировать сканирование определенной страницы, но могут косвенно блокировать страницу, устанавливая «nofollow» для всех страниц, которые ссылаются на нее.

Тест № 10 - повторение теста № 9, но с «noindex, follow»

Это повторение теста № 9, за исключением того, что теперь страницы заблокированы метатегом роботов с «noindex, follow » вместо «noindex, nofollow» . Это говорит сканеру, что он по-прежнему не должен индексировать страницу, но это ОК, чтобы перейти по ссылкам с него.

(Я включаю только этот, потому что, если я этого не сделаю, кто-то обязательно скажет мне, что я забыл включить его.)

Эта схема уменьшает количество индексируемых страниц, но она не делает ничего, чтобы предотвратить потерю бюджета на сканирование. Потраченный впустую бюджет сканирования - это основная проблема, которую необходимо решить, поэтому эта схема становится бесполезной. В некоторых случаях использования (не связанных с многогранной навигацией) «noindex, follow» является хорошим выбором, но это не один из них.

Можно ли реализовать ограничение выбора с помощью robots.txt?

Как показано в тесте № 9, использование метатегов роботов для реализации предела выбора не является идеальным, поскольку метатеги роботов являются частью HTML-страницы. Сканер должен загрузить каждую страницу, прежде чем он сможет узнать, заблокирована ли она. Это напрасная трата бюджета.

Так как насчет использования robots.txt? Robots.txt кажется лучшим выбором для этого, потому что он блокирует сканирование страниц, в отличие от мета роботов, который блокирует индексацию и / или отслеживание страниц. Но можно ли использовать robots.txt для выборочной блокировки страниц в зависимости от того, сколько параметров они выбрали? Ответ: это зависит.

Это зависит от структуры URL. В некоторых случаях это просто, в других это сложно или невозможно.

Например, если структура URL использует какой-то совершенно непроницаемый формат, такой как JSON в кодировке base-64:

https://example.com/products?p=WzczLCA5NCwgMTkxLCAxOThd

Тогда вам не повезло. Вы не можете использовать robots.txt, чтобы отфильтровать это, потому что robots.txt не может указать количество выбранных опций. Вам придется использовать мета-роботы или X-Robots. (оба из которых могут быть сгенерированы кодом на стороне сервера, который имеет доступ к декодированной версии данных запроса)

С другой стороны, если все параметры фильтра указаны в виде единого списка ID-номеров в строке запроса, разделенных подчеркиванием, например:

https://example.com/products?filters=73_94_191_198

Затем вы можете легко заблокировать все страницы, для которых выбрано более (например) двух параметров:

Итак, давайте попробуем это.

Тест № 11 - Предел выбора, через Robots.txt

Это повторение теста №9, за исключением того, что теперь страницы блокируются с использованием robots.txt вместо мета-роботов.

Takeaways

• Блокировка страниц на основе лимита выбора - очень эффективный способ уменьшить количество страниц.
• Реализация этого с robots.txt лучше всего.
• Но вы можете использовать robots.txt, только если структура URL это позволяет.
• Реализация этого с помощью robots meta менее эффективна, чем robots.txt, но все же полезна.

Резюме

Фасетная навигация - одна из самых сложных задач SEO для крупных сайтов. Не ждите решения проблем после того, как вы создали свой сайт. Планируйте заранее. Используйте robots.txt, посмотрите на варианты выбора и «думайте» как поисковик.

Небольшое планирование может улучшить использование бюджета сканирования, повысить SEO и улучшить пользовательский опыт.