Сканирование бюджета в SEO: полное руководство

1. Как определяется бюджет сканирования в SEO? Бюджет сканирования - это количество страниц, которые...
2. Как бюджет сканирования назначается сайтам?
3. Почему вы должны заботиться о бюджете сканирования?
4. Насколько велик бюджет сканирования для вашего сайта?
5. Сканирование бюджета в консоли поиска Google
6. Перейти к источнику: журналы сервера
7. Как оптимизировать бюджет сканирования?
8. Доступные URL с параметрами
9. Дублированный контент
10. Плохое содержание
11. Неработающие ссылки или перенаправления
12. Неверный URL включен в карту сайта XML
13. ContentKing
14. Долгое время загрузки страницы и истечение срока
15. Большое количество неиндексируемых страниц
16. Неправильная структура внутренних ссылок
17. Как увеличить бюджет сканирования для вашего сайта?
18. Часто задаваемые вопросы о бюджете сканирования

Как определяется бюджет сканирования в SEO?

Бюджет сканирования - это количество страниц, которые поисковые системы посещают на вашем сайте во время просмотра. Например, день. Проще говоря, это внимание поисковых систем к вашему сайту.

Почему поисковые системы назначают бюджет сканирования сайтам?

Потому что их ресурсы неограниченны и должны делить их внимание на миллионы сайтов. Поэтому им нужен способ сосредоточить свое сканирование. И назначение бюджета обхода помогает им.

Как бюджет сканирования назначается сайтам?

Разделение основано на двух факторах: лимите и требовании сканирования:

1. Ограничение сканирования: сколько веб-страниц может обрабатывать и каковы предпочтения владельца.
2. Потребность в сканировании: как часто веб-сайт заслуживает сканирования в зависимости от популярности, а также частоты обновлений.

Бюджет сканирования - это общий термин в SEO. Иногда его называют пространством сканирования или временем сканирования .

Почему вы должны заботиться о бюджете сканирования?

Для поисковых систем желательно найти (и понять) как можно больше ваших индексируемых страниц и сделать это как можно быстрее. Когда вы добавляете новые или обновляете существующие, вы хотите, чтобы поисковые системы записывали их как можно быстрее. Чем раньше они проиндексированы, тем скорее вы сможете извлечь из этого пользу.

Но если они будут тратить свое время впустую, они, вероятно, не будут. Они будут тратить время на те части, которые могут не иметь значения, и которые могут сделать важные не обнаруженными. Те, которые пропущены, останутся не индексируемыми и не смогут привлечь посетителей на ваш сайт.

Возможно, вы уже знаете, что это значит - тратить бюджет на сканирование вредно для вашего SEO.

Но имейте в виду, что в целом вы должны беспокоиться о бюджете сканирования, только если у вас более крупный веб-сайт. Допустим, 50000 или более страниц.

Насколько велик бюджет сканирования для вашего сайта?

Google предоставляет наибольшую информацию из всех поисковых систем в этом отношении.

Сканирование бюджета в консоли поиска Google

Если вы добавили свой сайт в консоль поиска Google, вы можете хотя бы узнать, для чего предназначен бюджет на сканирование (конечно, только в Google).

Войдите в консоль поиска Google, выберите сайт и перейдите в «Просмотр»> «Статистика сканирования». Здесь вы можете увидеть количество страниц, которые Google пропускает каждый день.

Выполните следующие действия:

1. Войдите в консоль поиска Google и выберите сайт.
2. Перейдите в Просмотр> Статистика сканирования. Здесь вы можете увидеть количество страниц, которые Google пропустит за день.

В течение лета 2016 года наш бюджет обхода выглядел так:

В этом примере мы видим, что средний бюджет сканирования для сайта составлял 27 страниц в день. Таким образом, теоретически, если он не изменится, месячный бюджет сканирования будет: 27 страниц x 30 дней = 810 страниц.

Два года спустя, давайте посмотрим, каков наш бюджет сканирования сегодня:

Наш средний бюджет обхода составляет 253 страницы в день. Таким образом, мы можем сказать, что наш бюджет обхода увеличился в десять раз за последние два года.

Перейти к источнику: журналы сервера

Еще один способ получить представление о том, как поисковые системы выполняют поиск на вашем сайте, состоит в анализе файлов журнала сервера.
Очень интересно посмотреть логи сервера и посмотреть, как часто боты Google заходят на ваш сайт. Также интересно сравнить это со статистикой Google Search Console. Всегда лучше полагаться на больше ресурсов.

Как оптимизировать бюджет сканирования?

Оптимизация бюджета сканирования должна гарантировать, что он не будет потрачен впустую. По сути, чтобы исправить причины своего растраты. Мы сами отслеживаем тысячи сайтов, и если вы проверите каждый из них на наличие проблем с бюджетом сканирования, вы быстро узнаете шаблон - большинство сайтов испытывают те же проблемы.

Наиболее распространенные причины его тратить:

Доступные URL с параметрами

В большинстве случаев URL-адреса с параметрами поисковой системы не должны быть доступны, поскольку они могут генерировать бесконечное количество URL-адресов. Параметры с URL часто используются в реализации фильтры продуктов в интернет-магазине , Это прекрасно, чтобы использовать их. Тем не менее, убедитесь, что они не доступны для поисковых систем.

Как отключить поисковые системы?

1. Дайте поисковым системам инструкции, используя их файл robots.txt, чтобы они не проходили через этот URL. Если по какой-либо причине это невозможно, воспользуйтесь настройками параметров URL-адреса консоли поиска Google и инструмента Bing для веб-мастеров, чтобы Google и Bing не просматривали сайт.
2. Вставьте rel = "nofollow" в ссылки фильтра.

Дублированный контент

Вы, конечно, не хотите, чтобы поисковые системы проводили больше времени дублированный контент страницы. Поэтому важно предотвратить или хотя бы минимизировать дублирование контента на вашем сайте.

Как это сделать? Используя ...

1. Установить веб-перенаправление для всех вариантов домена (HTTP, HTTPS, не WWW, WWW).
2. Отключение результатов внутреннего поиска в поисковой системе с помощью файла robots.txt. Вот пример для robots.txt на сайте WordPress ,
3. Отключите зарезервированные страницы для изображений (например: печально известные страницы изображений в WordPress).
4. Предупреждение об использовании таксономии, такой как категории и теги.

Узнайте больше о дублированный контент по техническим причинам и как его устранить ,

Плохое содержание

Сайты с небольшим содержанием не интересны для поисковых систем. Сведите их к минимуму или избегайте их полностью, если это возможно. Примером некачественного контента может быть раздел часто задаваемых вопросов со ссылками для просмотра вопросов и ответов, где отдельные вопросы и ответы доступны по отдельному URL.

Неработающие ссылки или перенаправления

Неработающие ссылки представляют собой тупик для поисковых систем. То же самое верно для слишком много цепочка перенаправлений , В этом случае сканеры могут остановиться. Существуют ограничения на количество связанных перенаправлений, которые поисковые системы и браузеры по-прежнему допускают.

Как и браузеры, Google, скорее всего, допускает не более пяти повторных перенаправлений. Хотя не совсем ясно, как другие поисковые системы обрабатывают их, мы рекомендуем избегать цепочки перенаправлений. Кроме того, нормальный редирект лучше всего использовать как можно меньше.

Исправляя неработающие ссылки и перенаправления, вы можете быстро вернуть потраченный впустую бюджет сканирования. Кроме того, вы значительно улучшите свой пользовательский опыт. Перенаправление, и особенно цепочечные перенаправления, вызывают более длительную загрузку страницы и, таким образом, не приносят пользы пользователю.

Чтобы вам было проще найти битые ссылки, в ContentKing есть особая проблема.
Перейдите в раздел Проблемы> Ссылки, чтобы узнать, не тратите ли вы впустую бюджет на сканирование из-за плохо настроенных ссылок. Обновите все ссылки, чтобы привести к индексируемым URL-адресам, и удалите те, которые больше не нужны.

Неверный URL включен в карту сайта XML

Все URL в XML карта сайта должен быть индексируемым. Это особенно верно для крупных сайтов, где поисковые системы в значительной степени полагаются на карту сайта для поиска страниц. Если ваша карта сайта содержит страницы, которые больше не существуют или перенаправлены, вы потеряете ненужный бюджет сканирования. Поэтому регулярно проверяйте, что файл не содержит неиндексируемых URL, которые не имеют ничего общего. Также проверьте обратное: найдите страницы, которые неправильно исключены из карты сайта. Карта сайта XML - это отличный способ помочь поисковым системам разумно использовать ваш бюджет сканирования.

Google Search Console

Консоль поиска Google сообщает о проблемах с XML-файлами Sitemap при просмотре> Sitemaps:

Инструменты Bing для веб-мастеров

Инструменты Bing для веб-мастеров могут сделать то же самое в разделе «Настройка моего сайта»> «Sitemaps».

ContentKing

В ContentKing обратите внимание на это в разделе «Проблемы»> XML Sitemap.
:

Лучший способ оптимизировать бюджет сканирования - разбить ваши XML-карты сайтов на более мелкие. Например, вы можете создать карту сайта XML для каждого раздела вашего сайта. Когда вы это сделаете, вы сможете быстро определить, есть ли какие-либо проблемы с вашим сайтом.

Скажем, карта сайта XML для раздела A содержит 500 ссылок, из которых 480 проиндексированы - у вас все хорошо. Но ваша карта сайта для раздела B содержит 500 ссылок, и только 120 проиндексированы - это то, что вы хотите решить. В этом разделе может быть много неиндексируемых URL-адресов.

Долгое время загрузки страницы и истечение срока

Если ваш сайт загружается долгое время или даже загружается до того, как он действительно загрузится, поисковые системы смогут посещать меньше страниц в течение выделенного времени. Кроме того, это сильно ухудшит пользовательский опыт и, следовательно, коэффициент конверсии.

Если страница загружается более 2 секунд, это проблема. В идеале время загрузки должно быть менее 1 секунды. Вы должны проверять это регулярно. Вы можете использовать такие инструменты, как Pingdom , WebPagetest или GTmetrix ,

Для Google вы найдете обзор того, как загружаются страницы, как в Google Analytics (Поведение> Скорость Интернета), так и в консоли поиска Google.

Консоль поиска Google и Инструменты Bing для веб-мастеров отслеживают, истек ли указанный период времени во время загрузки. Вы можете найти его в консоли поиска Google здесь: Просмотр> Ошибки сканирования. Затем в Bing: Отчеты и данные> Информация о сканировании.

Регулярно проверяйте, достаточно ли быстро загружается ваш сайт. Если нет, то это необходимо решить. Быстрая загрузка страницы необходима для вашего успеха в Интернете.

Большое количество неиндексируемых страниц

Если ваш сайт содержит большое количество неиндексируемых страниц, доступных для поисковых систем, то вы используете их для просмотра этих неважных страниц.

Следующие типы страниц считаются неиндексируемыми:

• Редирект (3xx)
• Страницы, которые не могут быть найдены (4xx)
• Страницы ошибок сервера (5xx)
• Страницы, которые не индексируются (страницы, содержащие директивы noindex для роботов или канонические URL)

Чтобы узнать, действительно ли у вас слишком много неиндексируемых страниц, проверьте общее количество страниц, найденных вашими поисковыми системами на вашем сайте. Для этого вы можете легко использовать ContentKing.

В нашем примере мы нашли 63 137 URL, но только 20 528 из них являются страницами.

И с этих страниц есть только 4663 индексируемых. Только 7,4% URL-адресов ContentKing могут быть проиндексированы поисковой системой. Это не очень хорошее соотношение, и этот сайт должен четко работать для удаления ненужных ссылок на него, включая:

• Карта сайта XML (см. Предыдущий раздел)
• связи
• Канонические URL
• Hreflang ссылка
• Ссылка на пейджинг (ссылка rel prev / next)

Неправильная структура внутренних ссылок

Кроме того, как отдельные страницы сайта ссылаются друг на друга, играют важную роль в оптимизации просмотра веб-страниц. Это называется внутренней структурой ссылок . Для сайтов, которые имеют мало внутренних ссылок, поисковые системы не уделяют так много внимания, как сайты, на которые ссылаются многие другие сайты (сейчас мы не учитываем обратные ссылки).

Избегайте иерархической структуры, где промежуточные страницы не получают много ссылок. Эти страницы не будут так часто сканироваться. Еще хуже будут страницы в конце этой иерархии. Из-за отсутствия ссылок поисковые системы могут вообще их не указывать.

Убедитесь, что на ваших самых важных страницах достаточно внутренних ссылок. Сайты, недавно посещаемые поисковыми системами, обычно оцениваются лучше. Запомните это и настройте структуру внутренних ссылок.

Например, если у вас есть статья в блоге 2011 года, которая по-прежнему привлекает большое количество посетителей на ваш сайт, убедитесь, что вы по-прежнему ссылаетесь на нее из других частей сайта. Поскольку с тех пор вы, конечно, написали много других статей, статья 2011 года автоматически прокручивается в вашей структуре ссылок.

Как увеличить бюджет сканирования для вашего сайта?

интервью Эрик Энг и глава антиспам-команды Google Мэтт Каттс прояснили связь между власть бюджет обхода.

Хотя Google прекратил публичное обновление значений PageRank, мы считаем, что это все еще является частью его алгоритмов. Поскольку PageRank является запутанной концепцией, мы бы лучше поговорили об этом авторитет сайта , Мэтт Каттс в основном сказал: между администрацией сайта и бюджетом сканирования существует тесная связь .

Таким образом, чтобы увеличить бюджет сканирования своего сайта, необходимо повысить его авторитет. Это может быть в значительной степени обеспечено путем получения большего количества ссылок с других сайтов. Вы можете прочитать больше об этом в нашем руководстве по созданию ссылок ,

Часто задаваемые вопросы о бюджете сканирования

1. Как увеличить бюджет сканирования?
2. Должен ли я использовать канонические URL-адреса и мета-роботов?

1. Как увеличить бюджет сканирования?

Google объявил, что между полномочиями сайта и бюджетом сканирования существует тесная связь. Чем больше авторитет страницы, тем больше бюджет сканирования у этой страницы.

Да. Важно понимать разницу между проблемами индексации и просмотра веб-страниц.

Канонический URL а мета-роботы дают поисковым системам четкий сигнал о том, какие сайты не должны индексироваться, но не мешают им сканировать. Вы можете использовать robots.txt и ссылку rel = ”nofollow” для решения проблем сканирования.