Предотвращение индексации нежелательных страниц Google

  1. Экономически эффективные решения
  2. WordPress / Yoast Solution
  3. Создание и редактирование Robots.txt
  4. Встроенная функция без индексации
  5. Заключительные мысли

Иногда вы обнаружите, что страницы на вашем сайте индексируются Google, что вы не обязательно хотите их проиндексировать. Это обычно наблюдается на веб-сайтах на основе CMS, таких как WordPress, которые автоматически генерируют множество подстраниц и каталогов автоматически. Эти страницы вряд ли оштрафуют ваш сайт, но иногда они могут занимать место над другим содержанием для поисковых запросов, связанных с брендом, эффективно засоряющих присутствие вашего сайта в поисковой выдаче. Есть несколько быстрых советов, чтобы предотвратить это и убрать вещи, если они уже произошли.

Экономически эффективные решения

Я считаю, что WordPress предлагает один из самых простых и экономически эффективных способов создания веб-сайтов. Он предлагает дружественные интерфейсы, мощную расширяемость и мощную базу поддержки пользователей и разработчиков. Один из недостатков, однако, заключается в том, что он требует некоторой довольно обыденной настройки из коробки, прежде чем он хорошо подходит для большинства предприятий. Плюс в том, что все эти быстрые настройки не требуют кодирования и могут быстро превратить ваш сайт в SEO оптимизированное сокровище , WordPress подходит для широкого спектра применений, и поэтому его часто раздувают. Одним из таких примеров этого являются автоматически сгенерированные авторские архивы, архивы на основе дат, архивы подстраниц и архивы на основе тегов.

Все они будут проиндексированы Google, если не указано иное. Это может привести к дублированию проблем с контентом, а также раздражающе загроможденным результатам для связанных с брендом искателей. Например, вы бы не хотели, чтобы архив прошлогодних постов превосходил первую страницу ваших последних постов в блоге, но это часто случается! Если вы используете WordPress, плагины, такие как Yoast SEO предлагаем отличные бесплатные решения для быстрого указания статуса «без индекса» для определенных архивов и каталогов, или даже для определенных постов и страниц. Если вы используете другие решения, некоторые простые дополнения к файлу robots.txt также могут помочь решить вашу проблему. Ниже приведены некоторые примеры использования этих методов.

WordPress / Yoast Solution

Один из самых простых способов обойти это - использовать WordPress Solution для вашего сайта. Если обстоятельства не требуют иного, я часто обнаруживаю, что WordPress удовлетворяет потребности большинства малых предприятий, за исключением некоторых веб-сайтов электронной коммерции с глубокими категориальными структурами. WordPress делает жизнь легкой и экономически эффективной, но вам все же следует опасаться некоторых предостережений, возникающих при его использовании. WordPress имеет ядро, предназначенное для многоцелевого использования, которое было рождено в мире персональных блогов. Такие функции, как авторские архивы, архивы на основе тегов и подстраницы архивов, часто являются нежелательными дополнениями к вашему веб-сайту. Это не мешает чему-то критическому per se, но добавляет вздор и беспорядок с точки зрения веб-сканеров. Yoast SEO позволяет одним нажатием кнопки отключать архивы и не индексировать нежелательные функции WordPress. Кроме того, Yoast также позволяет быстро создавать и редактировать файл robots.txt без использования FTP. Ниже вы найдете краткий обзор реализации этого решения с помощью бесплатного плагина Yoast SEO для WordPress.

Создание и редактирование Robots.txt

Файл Robots.txt используется веб-браузерами для применения правил безопасности и контента к вашему контенту. Это может помочь запретить пользователям доступ к каталогам с частной информацией, предоставлять различный контент пользователям на основе браузера или реферера, а также может сообщать поисковым системам, где находятся ваши карты сайта и какие типы контента вы не хотите индексировать. На большинстве веб-сайтов этот файл редактируется через FTP-соединение с помощью текстового редактора, такого как Notepad ++. Это прекрасно работает, но когда вы пытаетесь начать работу, иногда изучение интерфейса другой программы является непростой задачей. Здесь Yoast вступает в игру и предлагает очень полезные возможности расширения. После установки плагин Yoast зарегистрирует меню «SEO» на левой панели инструментов WordPress. Нажмите меню «Инструменты», и вам будет показан экран с опцией «Редактор файлов» - щелкните по ней. Найдя этот экран, вы захотите щелкнуть ссылку «File-editor», чтобы перейти на еще один экран. См. Диаграмму ниже для визуального направления:

Здесь вы найдете одну из двух вещей; либо у вас уже есть файл robots.txt, и вы видите две текстовые панели, либо у вас еще нет файла robots.txt, и вы видите кнопку «Создать файл Robots.txt» с панелью редактора .htaccess ниже. Если вы видите кнопку «Создать файл Robots.txt», нажмите ее, и появится всплывающая текстовая область для быстрого добавления любых необходимых вам правил. Ниже вы можете увидеть пример того, как должен выглядеть этот экран:

С постоянно растущим чувством осведомленности Google о веб-сайтах я обычно нахожу, что правила robots.txt больше не нужны на сайтах на WordPress. Используя бесплатные плагины, такие как решение Yoast SEO, вы можете отключить целые разделы архива, такие как архивирование на основе даты и на основе тегов, и даже указать на отдельных страницах, хотите ли вы, чтобы поисковые системы их индексировали. Для подавляющего большинства веб-сайтов это решение выполняет 90% работы за 5% усилий. Чтобы узнать больше о том, как и когда использовать правила robots.txt, я предлагаю вам проверить эту статью сам Йоаст, который предлагает немного больше понимания этого вопроса. Он приводит веские доводы в пользу того, чтобы вообще не обращать внимания на файл robots.txt, ссылаясь на потенциальную возможность блокировать критически важные ресурсы, используемые определенными плагинами и другими функциями сайта. Я склонен согласиться с тем, что это подходит для подавляющего большинства случаев, связанных с веб-сайтами малого и среднего бизнеса без больших сложностей.

Встроенная функция без индексации

Одним из удобств, которые предлагает плагин Yoast для SEO, является возможность указывать статус индекса отдельных постов и страниц с помощью их расширенного мета-блока, а также указывать другие определенные полезные дополнения robots.txt. Эта функция по умолчанию отключена, но ее можно включить, перейдя в меню «SEO», выбрав «Панель инструментов», выбрав вкладку «Безопасность» и включив опцию «Расширенная часть мета-окна SEO Yoast». Чтобы включить возможность управления и другими дополнительными настройками, перейдите на вкладку «Функции» и включите параметр «Страницы расширенных настроек». который даст вам новый пункт меню в строке меню SEO слева и позволит дополнительно форматировать постоянные ссылки, перенаправлять вложения на родительские URL-адреса, удалять стоп-слова в пост-слагах и управлять некоторыми основными функциями RSS. Ниже приведена иллюстрация того, как включить эти две функции:

В меню «SEO» Yoast выберите опцию «Titles & Metas», чтобы открыть панель управления, которая позволит одним щелчком отключить некоторые функции архива WordPress. Оказавшись там, перейдите на вкладку «Архивы» в верхнем меню этого экрана, и вы можете отключить авторские архивы и архивы на основе дат, чтобы предотвратить их индексацию. Если у вас есть один авторский сайт (большинство малых предприятий), ваш авторский архив будет точно таким же, как и страница индекса вашего блога, где перечислены все ваши последние сообщения. Это можно рассматривать как дублирующийся контент, но на самом деле просто добавляет помехи присутствию вашего сайта в поиске по бренду. Ниже приведена иллюстрация того, как отключить эти параметры:

Вы можете просмотреть далее «Типы записей» и «Таксономии», чтобы отключить другие подобные функции на основе архивов. Это очень полезно, когда вы добавляете некоторые типы плагинов, такие как визуальные редакторы, менеджеры новостных рассылок или плагины портфолио, которые создают дополнительные типы постов в вашей базе данных WordPress. По умолчанию эти вновь созданные типы будут добавлены в вашу карту сайта и включены в индексирование Google вашего сайта. Каждый новый тип сообщения будет отображаться в меню «Тип сообщения» с возможностью его отключения. После того, как вы пройдете эти шаги, у вас должна получиться гораздо более четкая общая структура сайта в глазах Google, а также у вас будет возможность контролировать действия веб-сканеров по отношению к отдельным страницам и сообщениям. Для каждой страницы и публикации на вашем сайте будет доступен новый доступный раздел мета-окна Yoast SEO, нажав на маленький значок шестеренки, который можно увидеть ниже:

Заключительные мысли

WordPress не всегда является лучшим решением для бизнеса и не является идеальным решением для SEO. Однако, добавив несколько простых бесплатных плагинов, таких как Yoast SEO, вы сможете эффективно контролировать некоторые очень важные структурные аспекты вашего сайта. Это может помочь снять загромождение вашего сайта, избежать дублирования контента и повысить вероятность того, что поиск по вашим брендам вернет ваши главные страницы. Если вы новичок в SEO или пытаетесь модернизировать свой бизнес-сайт, чтобы конкурировать в сети, комбинация WordPress + Yoast SEO может предложить вам смертельную силу при минимальных инвестициях. Чтобы настроить все упомянутое в этом посте на новый веб-сайт WordPress, вам нужно около 5 минут времени с возможностью динамического изменения событий на ходу.