Индексация: придумайте карту сайта!

Мы знаем, что Google использует роботов (в ответ на милое имя Googlebot), чтобы «сканировать» (посещать) ваш сайт и восстанавливать ваши страницы, нажимая на все ссылки, которые они предлагают

Мы знаем, что Google использует роботов (в ответ на милое имя Googlebot), чтобы «сканировать» (посещать) ваш сайт и восстанавливать ваши страницы, нажимая на все ссылки, которые они предлагают. Для «маленьких» сайтов (в гугльском смысле этого слова, то есть сайтов, предлагающих от нескольких десятков до нескольких сотен страниц) в целом нет проблем: просмотр различных меню и просмотр Ваше древовидное, по сути, очень простое, индексация создает очень редко (если вообще) проблемы.

Это часто более сложно с «большими» сайтами (десятки тысяч страниц или даже - намного - больше). Действительно, мы знаем, что робот Googlebot не всегда является очень смелым маленьким роботом и что с определенной глубины дерева (чаще всего 3-4 клика по главной странице), индексация становится очень случайной.

Что делать, если у вас есть проблема такого типа с очень длинным деревом и «путями кликов», при которых ваши интересные страницы (статьи, листы продуктов и т. Д.) Переходят более чем на 4 или 5 кликов с домашней страницы ? Конечно, XML Sitemap является решением. Но, по опыту, он далек от идеала и не всегда преодолевает проблемы, возникающие из-за "натянутого" натурального дерева.

Очень простое, но не всегда внедряемое решение часто исходит из плана сайта для пользователей Интернета. Эта страница (которая может быть построена на нескольких уровнях для очень больших сайтов) может предлагать несколько сотен ссылок (или более) и размещать их по щелчку домашней страницы (забывая легенда о 100 исходящих ссылках не более на страницу ). Это сокращает путь посещения роботом Google и облегчает индексацию новых (и старых) страниц сайта.

Вот несколько примеров планов сайтов, которые кажутся довольно хорошо разработанными для поисковых систем (есть, конечно, сотни других): Webimm (реклама недвижимости), Канал погоды (прогноз погоды), Ld Medical (Электронная коммерция) Atlantico (нажмите) и т. д. Некоторые огромные сайты, такие как CDiscount, предложить планы сайтов в масштабе их превышения 🙂).

Задача в этом типе разработки будет заключаться в достижении осмоса между двумя важными моментами: поддерживать приятный для пользователя план сайта (в конце концов, именно для него эта страница создана изначально) все предоставление ярлыков индексации для двигателей через хорошо разработанные и пронумерованные ссылки. Все искусство! Но игра того стоит, если ваш сайт начинает значительно расти с годами!

И если, с вашей стороны, вы знаете планы сайта для хорошо спроектированных интернет-пользователей для Googlebot, не стесняйтесь указывать URL в комментариях!