Составляем файл Robots.txt

составить файл robots.txtВсем Привет. Сегодня предлагаю поговорить о файле robots.txt, а точнее мы рассмотрим, зачем нужен этот файл на сайте и как правильно его составить. Файл robots.txt практически всегда присутствует на сайте, но не является обязательным. То есть отсутствие этого сайта никак не является ошибкой, если на сайте всего несколько страниц, то вряд ли он там вообще нужен.

Если сайт огромный, на нем есть много различных папок или этот сайт сделан с помощью какого-то движка, то естественно там есть папки, которые не обязательно индексировать, так нужно и указать поисковикам, чтобы он их не индексировал. Как раз таки, главной задачей файла robots.txt и является скрытие от поисковых систем определенных частей вашего сайта. То есть поисковикам можно запретить индексирование чего угодно у вас на сайте с помощью файла robots.txt.

Перед тем, как регистрировать новый сайт в поисковых системах файл robots.txt в обязательном порядке нужно правильно составить и закачать в корневую директорию сайта – это место на хостинге, где лежат все файлы сайта. Обычно это папка public_html. Именно в корневой директории сайта поисковики будут искать robots.txt.

Давайте теперь разберемся, как правильно составить файл robots.txt. Для создания файла robots.txt нам понадобиться обычный текстовый редактор. Имя ему нужно дать именно robots.txt. После создания файла robotstxt открываем его и прописываем специальные инструкции, которые указывают поисковику, какие каталоги не нужно индексировать.

Давайте разберем следующее содержание в файле robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /stranica.html
Host: karser.ru
Sitemap: https://karser.ru/sitemap.xml

Итак, обо всем по порядку. С помощью конструкции «User-agent» мы указываем, какому именно поисковику применять следующие запреты на индексацию. У меня стоит звездочка «*» это говорить о том, что последующие команды должны учитываться всеми поисковикам. Если мы вместо «*» напишем «Yandex», то это будет указывать поисковикам, что правила ниже написаны для поисковой системы яндекса.

Далее у нас идет «Disallow» и я указал рядом папки, которые не должны индексироваться поисковиками и файл. Папки admin, temp и файл stranica.html. То есть, «Disallow» указывает какие файлы и папки не нужно индексировать на сайте.

Рядом с командой «Host» указывается основной домен сайта, с www или без него. Так как http://www.karser.ru и https://karser.ru поисковая система может принять как два разных сайта. Чтобы этого не случилось, указывается в файле robots.txt основной домен сайта.

Также есть нестандартные поля в robots.txt, один из них я указал в примере, это «Sitemap». C помощью поля «Sitemap» в robots.txt можно указать путь к xml карте сайта для лучшей индексации сайта поисковиками.

Для файла robots.txt также существует много других полей, которые расширяют возможности общения с поисковыми системами, но используются крайне редко.

На этом у меня сегодня все, надеюсь, объяснил понятно, старался, как мог. Удачи до встречи в следующих постах.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *