Улучшение файла robots.txt для лучшего SEO

1. Улучшение файла robots.txt для лучшего SEO WordPress имеет много преимуществ с точки зрения SEO....
2. Что такое файл robots.txt?
3. Можем ли мы скрыть файл robots.txt?
4. Структура файла robots.txt
5. запрещать
6. Meta Noindex
7. Nofollow ссылки
8. Нужно ли добавлять карту сайта в файл robots.txt?
9. Как изменить файл robots.txt?
10. Пример идеального файла robots.txt
11. заключение

Улучшение файла robots.txt для лучшего SEO

WordPress имеет много преимуществ с точки зрения SEO. На протяжении многих лет оптимизация, которую ведут разработчики, обеспечила пользователям WordPress преимущества SEO.

Тем не менее, чтобы в полной мере воспользоваться преимуществами этого файла, пользователям также необходимо внести некоторые коррективы, чтобы гарантировать, что их сайт оптимизирован для поисковых систем.

Robots.txt: что нужно знать

Имея это в виду, сегодня мы собираемся сосредоточиться на том, как улучшить ваш файл "robots.txt", чтобы извлечь выгоду из SEO.

Что такое файл robots.txt?

Обычно пользователи WordPress время от времени слышат разговоры о файле «robots.txt», но большую часть времени он используется как есть, без каких-либо изменений. Хотя версия по умолчанию работает хорошо, изменив файл "robots.txt", вы можете лучше воспользоваться преимуществами SEO.

Кредит фотографии: Boians Cho Joo Young

Файл "robots.txt" похож на шлюз. Каждый раз, когда сканеры поисковых систем посещают сайт, они сначала получают доступ к файлу "robots.txt".

Этот файл сообщает роботам поисковых систем, какие страницы посещать и какие индексировать, но самое главное, какие из них не следует индексировать.

Robots.txt - это веб-стандарт, разработанный Протокол исключения роботов (REP), для регулирования поведения роботов и индексации поисковых систем.

Короче говоря, если определенные страницы сайта не должны просматриваться и индексироваться поисковыми системами, файл "robots.txt" используется для того, чтобы роботы этого не делали.

Имейте в виду, однако, что поисковые системы не обязаны придерживаться заказов, содержащихся в файле "robots.txt", они могут предпочесть их обойти, но в целом они этого не делают.

Можем ли мы скрыть файл robots.txt?

Нет нельзя!

«Robots.txt» - это файл, доступный для общественности. Каждый может проверить, какие скрытые части сайта, от веб-мастера.

Доступ к файлу "robots.txt" легко получить, скрытого URL нет. Просто введите имя домена и добавьте «robots.txt» в конце URL (без кавычек).

Например: http://yourdomain.com/robots.txt

Некоторые эксперты по SEO считают, что скрывать конфиденциальную информацию, доступную на сайте, с помощью файла "robots.txt" не рекомендуется, поскольку роботы поисковых систем могут получить к нему доступ, даже если вы упомянули напротив в файле "robots.txt".

Следует использовать более эффективные и безопасные способы, такие как защита паролем.

Структура файла robots.txt

Обычно для WordPress основной файл «robots.txt» выглядит следующим образом:

Пользовательский агент: * Disallow: / wp-admin /

Звездочка (*) после «User-agent» означает, что всем поисковым системам разрешено индексировать сайт. «Disallow» запрещает поисковым системам индексировать определенные части сайта как « / wp-admin », « / plugins » и « / themes », поскольку они содержат конфиденциальную информацию и, если индексация разрешена, это сайт в опасности.

Итак, какие изменения можно внести в основной файл robots.txt для улучшения SEO?

Давайте посмотрим ...

запрещать

Запретить означает отклонить, и вы отклоните запросы доступа, сделанные поисковыми системами.

В каждой строке допускается только один URL с тегом «Disallow». Точно так же никогда не повторяйте URL.

Помните, что блокировка страницы, категории или статьи с помощью файла «robots.txt» означает, что поисковая система не сможет проиндексировать его.

Однако это не означает, что поисковые системы не будут индексировать страницы и не будут показывать их в результатах, они это сделают. Однако вы можете отказаться от этой возможности, выполнив следующий шаг ниже.

Meta Noindex

Это самый безопасный и рекомендуемый способ запретить поисковым системам индексировать и отображать определенные страницы в результатах поиска.

Как добавить мета-тег Noindex?

Есть разные способы. Плагин SEO WordPress от Yoast используется в качестве ссылки. Если вы хотите создать сайт, который придерживается принципов SEO, используйте этот плагин.

Плагин Yoast позволяет добавить тег Meta Noindex двумя способами:

• На уровне страницы / статьи

При добавлении статьи или страницы, проверьте настройки плагина SEO WordPress от Yoast в разделе «Дополнительно», под статьей или страницей, вы найдете список опций для страниц или статей.

Просто выберите « Noindex » в поле « Meta Robot Index », а затем опубликуйте статью или страницу, ни страница, ни статья не будут проиндексированы поисковыми системами. Просто, не правда ли?

В разделе « Заголовок и Метас » плагина SEO WordPress от Yoast Вы найдете вкладку Таксономии.

Если вы хотите, например, эти категории, Этикеты, медиа-файлы, партнерские ссылки и т. Д. быть в "noindex", это ваш выбор.

Вы можете полностью контролировать применимость тега Meta Noindex , используя эти два метода.

Nofollow ссылки

Вы можете добавить « nofollow » в свои ссылки, чтобы поисковые системы не индексировали и не отображали ссылки, но опять же, это не надежная стратегия. Поисковые системы все еще могут обнаружить ссылки " nofollow ".

Чтобы добавить параметр " nofollow ", вот как:

<a href="URL" rel=nofollow'> Якорь текста </a>

Сохраните страницу или статью, и ссылка будет иметь параметр «nofollow».

Нужно ли добавлять карту сайта в файл robots.txt?

Хорошей практикой SEO является добавление ссылки, указывающей на план вашего сайта, в файл "robots.txt". В предыдущем примере карта сайта не была включена, но если вы проверите карту сайта блога блоггера, он будет выглядеть так:

Поэтому настоятельно рекомендуется добавить карту сайта в файл robots.txt.

Для этого в WordPress необходимо отредактировать файл «robots.txt». Вы можете добавить одну карту сайта или несколько небольших планов (по одному на строку). После этого сохраните файл, и все готово.

Как изменить файл robots.txt?

Вы можете получить доступ к файлу robots.txt с помощью Инструментов Google для веб-мастеров.

Подключиться к Инструменты Google для веб-мастеров Выберите сайт и нажмите «Разведка». В раскрывающемся меню вы увидите «Инструмент тестирования файла Robots.txt». Вставьте код, который вы хотите включить в свой файл, и нажмите «Тест». Если на кнопке отображается «Утверждено», просто создайте файл «robots.txt» и загрузите его на свой сайт.

Для этого откройте блокнот Windows, вставьте проверенный Google код и сохраните файл, назвав его «robots.txt». Будьте внимательны, чтобы проверить место, где вы сохраняете файл, потому что он должен быть перенесен на ваш сайт.

Откройте программное обеспечение FTP (например: FileZilla ) и перенести файл в корень вашего сайта. Если у вас нет программного обеспечения FTP, вы можете использовать файловый менеджер вашей учетной записи хостинга и загрузить файл в корневой каталог вашего сайта.

Пример идеального файла robots.txt

Вот пример идеального файла "robots.txt":

Пользовательский агент: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / wp-content / plugins / Disallow: / wp-content / cache / Disallow: / wp-content / themes / User-agent: Mediapartners-Google * Разрешить: / Пользовательский агент: Googlebot-Разрешить изображение: / wp-content / uploads / Карта сайта: http://www.yoursite.com/sitemap.xml

Приведенный выше код является базовой версией файла "robots.txt", который работает для большинства сайтов WordPress.

Если вы хотите получить более подробную информацию о различных командах, которые можно использовать в файле "robots.txt", вы можете обратиться к странице " Узнайте больше о файлах robots.txt В Google Инструменты для веб-мастеров.

заключение

Оптимизация файла «robots.txt» становится неизбежной при разработке сайта. Вы не хотите, чтобы все было видимым и доступным, и для этого необходимо использовать некоторые методы. Модификация файла "robots.txt" является одной из них.

Я надеюсь, что этот маленький урок был информативным. Если у вас есть какие-либо сомнения или вопросы, вы можете сообщить мне в разделе комментариев, я буду рад ответить.

Если эта статья была вам полезна, поделитесь ею с другими. Спасибо!