Как правильно настроить robots.txt, для чего нам нужен sitemap.xml и как его легко создать?

Ответы на эти вопросы вы получите, прочитав данную небольшую статью, где отражены основные моменты работы данных инструментов.

Robots.txt – это конфигурационный файл, ограничивающий доступ поисковым роботам к определенному содержимому Вашего сайта.

Robots.txt это основа поисковой оптимизации, здесь находятся все основные инструкции, которых будет придерживаться робот. Поисковые системы при каждом индексировании сайта изначально обращаются именно к этому файлу.

Robots.txt позволяет упорядочить и ускорить процесс сканирования страниц и файлов сайта, что приводит к:

1. Снижению нагрузки на сервер

2. Ускорению попадания нужных страниц в поисковую выдачу

3. Исключению ненужных страниц в поисковой выдаче

Правильно настроенный robots.txt улучшит воспринимаемость Вашего сайта для поисковых систем, что способствует в итоге лучшему ранжированию, а значит и большему числу переходов на Ваш веб-ресурс.

Основные директивы (команды) robots.txt

User-agent

Определяет, к какому роботу будут применяться прописанные ниже правила. По сути, это обращение к конкретному роботу или всем поисковым ботам.

Пример:

User-agent: Yandex # Определяем правила для определенной поисковой системы
User-agent: * #Определяем правила для всех поисковых систем

Disallow

Запрещает индексировать отдельные страницы или целые разделы веб-сайта. Здесь зачастую указывают дублированные страницы и технические разделы.

Пример применения, основанный на сайте под управление WordPress:

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Sitemap

Данная директива указывает роботам расположение XML карты сайта о которой мы поговорим чуть позже.

Общий пример написания robots.txt:

User-agent: * #указывает, для каких роботов установлены директивы
Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска
Disallow: /admin/ # запрещает ссылки из панели администратора
Sitemap: http://your_site/sitemap # указывает роботу на файл Sitemap для сайта

Как проверить работоспособность файла robots.txt ?

Для проверки можно воспользоваться специальными инструментами, которые бесплатно предоставляют нам например поисковые системы.

Что такое и для чего нужен sitemap.xml ?

Фундамент SEO — robots.txt и sitemap.xml, изображение №1
 

Sitemap.xml — это файл, содержащий в специальном формате ссылки на страницы сайта, сообщает поисковым системам об актуальной структуре сайта.

Sitemap помогает поисковым системам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта.

Поисковые системы отдают предпочтение ресурсам, использующим sitemap.

В создании карты сайта нет никаких сложностей. Для этого существует множество онлайн-генераторов, которым лишь достаточно ссылки на Ваш ресурс. Если вы используете CMS, то создать карту можно с помощью плагинов.

При использовании онлайн-генераторов, Вам остаётся лишь загрузить результат их работы в корневой каталог своего сайта.



Пятница, Январь 22, 2021

« Назад