Поисковые роботы периодически считывают этот файл, чтобы узнать об изменениях. Если файла нет, то поисковикам приходится "вручную" перебирать все разделы и страницы сайта, что крайне неэффективно.
Наличие карты сайта не гарантирует обход всех страниц поисковым роботом. В индекс добавляются только самые релевантные страницы по мнению робота. На практике эта доля составляет от 60% до 95% страниц сайта (с общим количеством страниц равным не менее 100 шт.).
Файл с картой сайта обычно называется sitemap.xml. Ссылка на этот файл обычно указывается в файле robots.txt, в директиве "Sitemap":
Sitemap: https://www.mousedc.ru/sitemap.xml
Самостоятельное создание файла sitemap.xml - это довольно трудоёмкий процесс. Ведь в него должны быть добавлены все страницы сайта. Причём процесс добавления должен быть непрерывный по мере появления новых страниц. К счастью, в WordPress есть инструменты, позволяющие автоматически генерировать карту сайта. К примеру, плагин "Google XML Sitemaps". Расскажем о том, как установить такой плагин.
Установка плагина Google XML Sitemaps
Для начала зайдите в панель администрирования WordPress. И в левом меню найдите пункт "Плагины" и подпункт "Добавить новый": Кликните на этот пункт и откроется страница загрузки новых плагинов. В правом верхнем углу найдите форму поиска и впешите в неё фразу "Google XML Sitemaps": Начнётся поиск плагинов и показан список результатов, в котором будет "Google XML Sitemaps": Кликните на кнопку "Установить", чтобы начать процесс установки плагина на свой сайт. После завершения установки эта кнопка изменится на "Активировать". Кликните по ней, чтобы включить плагин: После активации плагина файл sitemap.xml будет сгенерирован автоматически. По мере изменения контента сайта файл с картой будет пополняться свежими ссылками. И плагин сам вставит ссылку на карту сайта в файл "robots.txt".Добавление ссылки "sitemap.xml" в кабинеты вебмастеров
Теперь можно добавить ссылку на карту сайта sitemap.xml в кабинет для вебмастеров в поисковиках. Продемонстрируем это на примере ЯндексВебмастер. Для этого сначала зайдите в настройки плагина. Это можно сделать, перейдя в пункт бокового меню "Настройки" и подпункт "XML-карта сайта": На закладке "Главное" страницы настроек плагина, в самом верху страницы, можно найти адреса файла sitemap.xml. Ссылка будет выглядеть так: В примере адрес карты сайта - это "https://www.mousedc.ru/sitemap.xml". Скопируйте этот адрес. Его нужно будет вставить в форму добавления файла "Sitemap" в Вебмастере от Яндекса.Перейдите в панель управления Яндекс.Вебмастер. В левом меню найдите пункт "Индексирование" и подпункт "Файлы Sitemap": Найдите блок "Добавить файл Sitemap" и добавьте в него ссылку на sitemap.xml файл, который видели на странице настроек плагина "Google XML Sitemaps": Нажмите кнопку "Добавить". Через несколько дней Яндекс просканирует файл.
Если ссылка на карту сайта "sitemap.xml" уже добавлена в файл "robots.txt", то нет большой необходимости добавлять её в вебмастеры. Разве что только ради проверки валидности её разметки и получения суммарной статистики по файлу.