- 1) Интеграция Google Search Analytics
- 2) Просмотр и аудит URL-адресов, заблокированных Robots.txt
- 3) Отчет о несоответствии GA & GSC
- 4) Настраиваемый заголовок Accept-Language
- Небольшие обновления и исправления
- Небольшое обновление - версия 5.1 выпущена 22 октября 2015
В июле мы выпустили версия 4.0 (а также 4,1 ) Screaming Frog SEO Spider, и я рад объявить о выпуске версии 5.0 с внутренним кодовым названием «зубная боль».
Давайте прямо к этому, версия 5.0 включает в себя следующие новые функции -
1) Интеграция Google Search Analytics
Теперь вы можете подключиться к Google API Search Analytics и извлеките данные о кликах, кликах, CTR и средней позиции из своего профиля поисковой консоли. рядом Интеграция с Google Analytics , это должно быть ценно для Panda и аудитов контента соответственно.
Мы были частью бета-версии Search Analytics, поэтому имели это некоторое время внутри страны, но немного задержали выпуск, в то время как мы завершили несколько других новых функций, подробно описанных ниже, для большего выпуска.
Для тех, кто уже знаком с нашей интеграцией с Google Analytics, настройка практически одинакова. Вам просто нужно дать разрешение нашему приложению на доступ к данным в разделе «Конфигурация> Доступ к API> Консоль поиска Google» -
API Search Analytics не предоставляет нам имя учетной записи так же, как интеграция с Google Analytics, поэтому после подключения оно будет отображаться как «Новая учетная запись», которую вы можете переименовать вручную.
Затем вы можете выбрать соответствующий профиль сайта, диапазон дат, результаты устройства (настольный компьютер, планшет или мобильный телефон) и фильтр страны. Как и в случае с нашей интеграцией с GA, у нас есть несколько общих сценариев сопоставления URL-адресов, таких как сопоставление конечных и непоследовательных косых черт и чувствительность к регистру.
Когда вы нажмете «Пуск» и индикатор выполнения API достигнет 100%, данные будут отображаться в режиме реального времени во время сканирования на вкладке «Консоль поиска» и динамически в столбцах, расположенных справа на вкладке «Внутренние», если вы Я хотел бы экспортировать все данные вместе.
В настоящее время существует пара фильтров для «Кликов выше 0», когда URL-адрес имеет хотя бы один клик, и «Нет данных GSC», когда API Google Search Analytics не возвращал никаких данных для URL-адреса.
В приведенном выше примере мы видим, что URL-адреса, отображаемые под фильтром «Нет данных GSC», представляют собой все страницы авторов, которые на самом деле являются «noindex», так что это, как и ожидалось. Помните, что здесь могут отображаться URL-адреса, которые являются «noindex» или «canonicalized», если у вас нет « уважение noindex ' а также ' уважать каноники отмечен на вкладке «Дополнительные настройки».
В настоящее время API ограничен 5 тыс. Строк данных, которые, как мы надеемся, со временем Google увеличатся. Мы также планируем расширить нашу интеграцию, но на данный момент API Search Console довольно ограничен.
2) Просмотр и аудит URL-адресов, заблокированных Robots.txt
Теперь вы можете просматривать URL-адреса, запрещенные протоколом robots.txt во время сканирования.
Запрещенные URL-адреса будут отображаться со статусом «Заблокировано Robots.txt», а на вкладке «Коды ответов» появится новый фильтр «Заблокировано Robots.txt», где их можно эффективно просматривать.
Фильтр «Blocked by Robots.txt» также отображает столбец «Matched Robots.txt Line», который содержит номер строки и запрещает путь к записи robots.txt, исключающей каждый URL. Это должно упростить аудит файлов robots.txt!
Исторически SEO Spider не показывал в интерфейсе URL, которые запрещены robots.txt (они были доступны только через логи). Я всегда чувствовал, что это не требуется, поскольку пользователи уже должны знать, какие URL-адреса блокируются, и следует ли игнорировать файл robots.txt в конфигурации.
Тем не менее, существует множество сценариев, в которых использование robots.txt для контроля сканирования и быстрого понимания того, какие URL-адреса заблокированы robots.txt, является ценным, и это то, что запрашивалось пользователями на протяжении многих лет. Поэтому мы представили его в качестве дополнительной конфигурации для внутренних и внешних URL-адресов в обходе. Если вы не хотите, чтобы URL-адреса блокировались файлом robots.txt при сканировании, просто снимите соответствующие флажки.
URL-адреса, которые связаны внутренне (или внешне), но заблокированы robots.txt, очевидно, могут накапливать PageRank, индексироваться и появляться при поиске. Google просто не может сканировать содержимое самой страницы или просматривать внешние ссылки URL, чтобы передать PageRank вперед. Поэтому есть аргумент, что они могут выступать в качестве тупика, поэтому я бы рекомендовал проверить, насколько многие из них запрещены, насколько они связаны и, например, их глубина.
3) Отчет о несоответствии GA & GSC
Отчет «GA Not Matched» был заменен новым «GA & GSC Not Matched Report», который теперь предоставляет консолидированную информацию об URL-адресах, обнаруженных с помощью Google Search Analytics API, а также API Google Analytics, но не найденных в ползать.
Этот отчет можно найти в разделе «отчеты» в меню верхнего уровня. Он будет заполняться только после подключения к API и завершения сканирования.
Рядом с каждым URL-адресом находится новый столбец «источник», в котором подробно описываются API, которые были обнаружены (иногда это могут быть как GA, так и GSC), но не найденные, чтобы соответствовать ни одному URL-адресу, найденному при сканировании.
На приведенном выше снимке экрана с нашего собственного веб-сайта вы можете видеть, что есть некоторые URL-адреса с ошибками, несколько потерянных страниц и URL-адреса с хеш-фрагментами, которые могут отображаться в виде быстрых ссылок в мета-описаниях (и, следовательно, почему их источником является GSC, а не GSC). GA).
Я обсуждал, как эти данные можно использовать более подробно в рамках Примечания к выпуску версии 4.1 и это настоящая скрытая жемчужина, так как она может помочь идентифицировать потерянные страницы, другие ошибки, а также просто сопоставить проблемы между сканированием и API-интерфейсами для исследования.
4) Настраиваемый заголовок Accept-Language
Google представил локальные конфигурации сканирования ранее в этом году для страниц, которые, как считается, адаптировали обслуживаемый контент, исходя из языка запроса и предполагаемого местоположения.
По сути это означает, что робот Googlebot может сканировать с разных IP-адресов по всему миру и с HTTP-заголовком Accept-Language в запросе. Следовательно, как и в случае с Googlebot, существуют сценарии, в которых вы можете указать этот заголовок для сканирования контента, адаптированного к локали, с различными языковыми и региональными парами. Вы уже можете использовать конфигурацию прокси для изменения своего IP-адреса.
Вы можете найти новую конфигурацию «Accept-Language» в «Configuration> HTTP Header> Accept-Language».
У нас есть некоторые общие предустановки, но их комбинации огромны, поэтому есть настраиваемая опция, которую вы можете просто установить на любое требуемое значение.
Небольшие обновления и исправления
Это основные функции нашего последнего выпуска, которые, как мы надеемся, окажутся для вас полезными. Другие исправления ошибок и обновления в этом выпуске включают следующее:
- Вкладки «Аналитика» и «Консоль поиска» были обновлены, и теперь отображаются URL-адреса, заблокированные файлом robots.txt, который мы считаем HTML, в зависимости от типа файла.
- Максимальное количество Метрики Google Analytics вы можете собирать с API было увеличено с 20 до 30. Google ограничивает API до 10 метрик для каждого запроса, поэтому, если вы выберете более 10 метрик (или нескольких измерений), то мы сделаем больше запросов (и это может занять немного дольше для получения данных).
- С введением новой конфигурации «Accept-Language» конфигурация «User-Agent» теперь находится в разделе «Configuration> HTTP Header> User-Agent».
- Мы добавили «MJ12Bot» в наш список предварительно настроенных пользовательских агентов после чата с нашими друзьями в Majestic.
- Исправлен сбой в XPath пользовательском извлечении.
- Исправлен сбой при запуске с Windows Look & Feel и обновлением JRE 8 60.
- Исправлена ошибка с кодировкой символов.
- Исправлена проблема с экспортом в файл Excel, в котором числа с десятичными знаками записываются в виде строк, а не чисел.
- Исправлена ошибка с интеграцией Google Analytics, когда использование имени хоста в некоторых запросах вызывало «Выбранные измерения и метрики не могут быть запрошены вместе, ошибки».
Небольшое обновление - версия 5.1 выпущена 22 октября 2015
Мы выпустили небольшое обновление до версии 5.1 SEO Spider, которое включает в себя некоторые исправления ошибок и настройки, как показано ниже.
- Исправлены проблемы с итогами фильтра и номерами строк в Excel.
- Исправлена пара ошибок с пользовательским извлечением.
- Исправлено общее количество robots.txt в разделе обзора.
- Исправлен сбой при сортировке.
Вот и все для этого релиза!
Спасибо всем за все предложения и отзывы о нашем последнем обновлении, и просто в целом. Если вы обнаружите какие-либо ошибки или проблемы в этом выпуске, просто напишите нам через служба поддержки ,
Теперь иди и скачать версию 5.0 SEO Spider !