SEO и бюджет Сканирование или Сканирование бюджета

1. Бюджет сканирования: ограничение скорости сканирования
2. Как увеличить или уменьшить частоту отслеживания?
3. Что влияет на бюджет отслеживания?

В последнее время много говорят о бюджете отслеживания и оптимизации сайта. Но ... Как этот бюджет отслеживания или "бюджет сканирования" действительно влияет на робота Googlebot?

Прежде чем начать, вы должны знать, что отслеживание бюджета - это не то, что должно беспокоить нас на небольших сайтах , это важно на больших сайтах с большим количеством URL-адресов, особенно если вы индексируете параметры.

Точно так же это также не зависит от бюджета отслеживания, с какой скоростью индексирует новый контент Googlebot . Google признает, что популярность домена влияет на ваш бюджет отслеживания. Это бизнес, если ваш домен гарантирует качественное содержание, очевидно, что робот Googlebot будет более глубоко сканировать ваш сайт, поскольку он будет предлагать качество пользователям, которые ищут ответы в это. Точно так же требуется, чтобы робот Googlebot обновлял свои индексы для сегодняшних вопросов пользователей , поэтому вполне возможно, что ответ 10 лет назад сегодня не действителен. Вы должны обновить свой контент и предложить лучший ответ пользователя, если вы не хотите, чтобы ваш домен постепенно снижал свою популярность.

Бюджет сканирования: ограничение скорости сканирования

Что такое ограничение скорости сканирования для GoogleBot? Проще говоря, его можно определить как количество запросов в секунду, которые роботы Google генерируют на нашем сайте, чтобы отслеживать его и корректно обновлять в своей базе данных или кэше.

Сканеры Google созданы для полной совместимости с пользователями наших сайтов , это означает, что они могут отслеживать наш домен параллельно, не влияя на пользовательский опыт наших клиентов. В основном это означает, что они отслеживают домен, не влияя на его скорость.

Как увеличить или уменьшить частоту отслеживания?

Как всегда, Google позволяет нам блокировать их пауков, но у нас нет волшебной формулы для увеличения видимости нашего домена, в этом случае частота отслеживания или Ограничение скорости сканирования ,

Рекомендация Google заключается в том, чтобы мы поддерживали работоспособность нашего домена, и что это значит? Google уделяет особое внимание скорости и ошибкам сайта, чтобы увеличить частоту сканирования. Это просто, если сайт отвечает быстро, мы позволяем GoogleBoot делать больше запросов одновременно, точно так же, эти запросы должны возвращать код 200 раз, поисковые системы устают от 3xx, которые превращают сайт в Лабиринт или еще хуже из ошибок 4xx.

Здесь у вас есть пример домена, в который был перемещен сервер, а затем мы оптимизировали ответ. Установить как уменьшает зеленую диаграмму, которая относится к скорости, в то же время увеличивая синюю диаграмму, которая относится к страницам, отслеживаемым роботом Google.

Помните, что одним из основных факторов отказа от веб-сайта является скорость . Коэффициент скорости становится все более важным с увеличением числа мобильных поисков , часто с небольшим охватом и минимальной пропускной способностью передачи данных. Для робота Googlebot быстрый сайт является синонимом исправных и качественных серверов, поэтому рекомендуется сохранять как можно меньше ошибок сервера в консоли поиска.

Мы можем ограничить частоту отслеживания в той же консоли поиска, нажав на значок шестеренки в правом верхнем углу, и в конфигурации сайта мы найдем ее раздел «Частота отслеживания». По умолчанию мы активировали «Разрешить Google оптимизировать для моего сайта (рекомендуется)», мы можем ограничить частоту отслеживания, но не увеличивать ее таким образом, а также не использовать команды через robots.txt, команду «crawl-». задержка "по идее не обрабатывается роботом Google.

Что влияет на бюджет отслеживания?

URL-адреса, которые не увеличивают ценность нашего домена, могут негативно повлиять на бюджет отслеживания. Как уже много раз повторялось, мы должны генерировать контент, который добавляет ценность пользователям , и индексировать его только в нашем домене.

Параметры Фасетная навигация или фильтры постоянно генерируют параметры, которые во многих случаях являются URL-адресами, которые не имеют значения, например, ценами. У нас также могут возникать проблемы с дублирующимся содержимым, связанные с параметрами, сгенерированными URL-адресами, идентифицирующими сеанс, филиалов и т. Д. У вас есть несколько решений, от канонизации этих URL-адресов до вашего основного или не позволяя им индексировать, но если они все еще зависят от конкретного случая, или радикальный способ заблокировать в robots.txt, чтобы они не видели.

Дублированный контент . Сама проблема та же, что и в комментариях к параметрам. Типичным примером дублированного контента является то же описание для продукта, имеющего два или более небольших варианта. Свитер с кнопкой или без кнопки на шее, разные цвета, один и тот же продукт с разными размерами ... В общем, лучшим вариантом будет выбрать один из вариантов в качестве основного продукта и канонизировать оставшуюся часть URL.

Софт 404 Сервер всегда должен возвращать Код HTTP 404 для несуществующей страницы, то есть, если контент прекратил свое существование, пользователь или робот Google должен зайти на страницу с ошибкой 404 или 410, если он больше никогда не будет существовать. Иногда это сбивает с толку робота Google, «скрывающего» ошибки и переносящего этот трафик на домашний сайт, например, очень плохая практика, которая может заставить роботов индексировать контент для некорректных поисков, что в конечном итоге может повлиять отрицательный наш бюджет отслеживания.

Остерегайтесь СПАМА . Позаботьтесь о своем сайте, вы должны обеспечить спам и хакеров. Очевидно, что если вы заражены доменом с контентом, который нарушает правила Google, ваш бюджет отслеживания будет уменьшен, аналогично, если вы заполните блог или форум нежелательными комментариями, полными ссылок.

Бесконечные ссылки . Вполне возможно, что на некоторых ваших доменах вы получили изменение этого типа " Робот Googlebot обнаружил очень большое количество URL на вашем сайте ». Помимо прочего, это предупреждение может быть сгенерировано цепочкой ссылок, которые не имеют конца. Это могут быть параметры браузера по ранее прокомментированным фасетам, но также может быть что-то такое же простое, как раздел событий с календарем, который не имеет конца, со ссылкой на «следующий месяц», и вы можете тратить месяцы до бесконечности.

Низкое качество контента Одним словом, контент низкого качества. Если вы загрузите фид с тысячами продуктов, которые содержат повторяющиеся описания, не ожидайте увеличения бюджета отслеживания, он может уменьшиться. То же самое касается сайтов с плохими переводами, которые содержат блоги со спам-контентом и т. Д.

Типы контента Робот Googlebot отслеживает все типы контента и файлов на нашем сайте, включая файлы CSS или JavaScript. Очевидно, что эти файлы также потребляют наш предусмотренный бюджет отслеживания, но мы не должны их блокировать . Роботу Google необходимо сканировать все эти файлы, чтобы правильно кэшировать наш сайт. При его оптимизации мы можем удалить все файлы, которые мы больше не используем на нашем сайте, поэтому рекомендуется постоянно обновлять плагины, модули или любые другие установленные функции, а также удалять все, что мы не используем в наших темах.

Ваш домен слишком большой? У вас есть проблемы с параметрами, браузером по граням или какой-либо другой тип индексации? Если вам нужна помощь нашего SEO агентство предлагает вам бесплатный аудит! Мы рады помочь вам 😉

Также опубликовано на среда ,