Robots.txt в WordPress

По умолчанию в WordPress нет такого физического файла в движке как "robots.txt". При запросе к этому файлу его содержание создаётся программно. Но если создать в корневой папке сайта этот файл, то можно указать в нём любое содержание.

Файл "robots.txt" - это обычный текстовый файл, который можно отредактировать блокнотом. Создайте этот файл, откройте текстовым редактором и пропишите в нём строки:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: */trackback                     
Disallow: */feed            
Disallow: */rss             
Disallow: */embed          
Disallow: /xmlrpc.php      
Disallow: *utm=            
Disallow: *openstat=  
Allow: */uploads
Allow: /*.css
Allow: /*.js
Host: домен_сайта.ru
Sitemap: https://домен_сайта.ru/sitemap.xml

На предпоследней строке стоит директива "Host", которая указывает на главное зеркало сайта. Замените значение "домен_сайта" на свой домен.

На последней строке стоит директива "Sitemap", которая указывает на файл "sitemap.xml" Вашего сайта, поэтому заменить в её значении "домен_сайта" на свой домен.

Сохраните файл "robots.txt" после внесения изменений и загрузите файл на сервер.