Как правильно настроить robots.txt, для чего нам нужен sitemap.xml и как его легко создать?
Ответы на эти вопросы вы получите, прочитав данную небольшую статью, где отражены основные моменты работы данных инструментов.
Robots.txt – это конфигурационный файл, ограничивающий доступ поисковым роботам к определенному содержимому Вашего сайта.
Robots.txt это основа поисковой оптимизации, здесь находятся все основные инструкции, которых будет придерживаться робот. Поисковые системы при каждом индексировании сайта изначально обращаются именно к этому файлу.
Robots.txt позволяет упорядочить и ускорить процесс сканирования страниц и файлов сайта, что приводит к:
1. Снижению нагрузки на сервер
2. Ускорению попадания нужных страниц в поисковую выдачу
3. Исключению ненужных страниц в поисковой выдаче
Правильно настроенный robots.txt улучшит воспринимаемость Вашего сайта для поисковых систем, что способствует в итоге лучшему ранжированию, а значит и большему числу переходов на Ваш веб-ресурс.
Основные директивы (команды) robots.txt
User-agent
Определяет, к какому роботу будут применяться прописанные ниже правила. По сути, это обращение к конкретному роботу или всем поисковым ботам.
Пример:
User-agent: Yandex # Определяем правила для определенной поисковой системы
User-agent: * #Определяем правила для всех поисковых систем
Disallow
Запрещает индексировать отдельные страницы или целые разделы веб-сайта. Здесь зачастую указывают дублированные страницы и технические разделы.
Пример применения, основанный на сайте под управление WordPress:
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Sitemap
Данная директива указывает роботам расположение XML карты сайта о которой мы поговорим чуть позже.
Общий пример написания robots.txt:
User-agent: * #указывает, для каких роботов установлены директивы
Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска
Disallow: /admin/ # запрещает ссылки из панели администратора
Sitemap: http://your_site/sitemap # указывает роботу на файл Sitemap для сайта
Как проверить работоспособность файла robots.txt ?
Для проверки можно воспользоваться специальными инструментами, которые бесплатно предоставляют нам например поисковые системы.
Что такое и для чего нужен sitemap.xml ?
Sitemap.xml — это файл, содержащий в специальном формате ссылки на страницы сайта, сообщает поисковым системам об актуальной структуре сайта.
Sitemap помогает поисковым системам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта.
Поисковые системы отдают предпочтение ресурсам, использующим sitemap.
В создании карты сайта нет никаких сложностей. Для этого существует множество онлайн-генераторов, которым лишь достаточно ссылки на Ваш ресурс. Если вы используете CMS, то создать карту можно с помощью плагинов.
При использовании онлайн-генераторов, Вам остаётся лишь загрузить результат их работы в корневой каталог своего сайта.
Пятница, Январь 22, 2021
english
russian