В интернете можно найти много статей какой robots.txt для WordPress лучше использовать, но безусловно администратор сайта должен самостоятельно определить, что необходимо отдавать ботам для индексации, а что запрещать.
Я как и многие другие потратив приличное количество времени на поиск оптимального шаблона robots.txt уяснил только одно, что конкретного варианта нет. Вы можете экспериментировать, никто вам этого не запрещает.
Создаем robots.txt для WordPress
Ниже представлен код одного из моих проектов про технологии и гаджеты, посещаемость ресурса более 7500 уникальных посетителей в сутки.
В своем каталоге сайта создайте файл и за основу можете взять мой robots.txt:
User-agent: * #Для всех ботов, кроме Яндекса и Google Allow: /wp-content/plugins/*.js #Разрешаем js-скрипты в папке плагинов Allow: /wp-content/plugins/*.css #Разрешаем css файлы в папке плагинов Allow: /wp-content/plugins/*.jpg #Разрешаем картинки в папке плагинов Allow: /wp-content/plugins/*.jpeg #Разрешаем картинки в папке плагинов Allow: /wp-content/plugins/*.png #Разрешаем картинки в папке плагинов Allow: /wp-includes/*.js #Разрешаем js-скриты в главной папке WordPress Allow: /wp-includes/*.css #Разрешаем css в главной папке WordPress Allow: /wp-content/themes/*.js #Разрешаем js-скриты в теме Allow: /wp-content/themes/*.css #Разрешаем css файлы в теме Allow: /wp-content/uploads/*.jpg #Разрешаем индексировать загруженные картинки Allow: /wp-content/uploads/*.jpeg #Разрешаем индексировать загруженные картинки Allow: /wp-content/uploads/*.gif #Разрешаем индексировать загруженные картинки Allow: /wp-content/uploads/*.png #Разрешаем индексировать загруженные картинки Disallow: /xmlrpc.php #Запрещаем файл интеграции WordPress API Disallow: /cgi-bin #Запрещаем папку со скриптами Disallow: /wp-admin #Запрещаем файлы в административной части WordPress Disallow: /wp-includes #Запрещаем файлы в ядре WordPress Disallow: /wp-content/plugins #Запрещаем файлы плагинов Disallow: /wp-content/cache #Запрещаем кеш, отдаем только актуальные файлы Disallow: /wp-content/themes #Запрещаем файлы тем Disallow: /trackback #Запрещаем уведомления о ссылках Disallow: */feed #Запрещаем фиды Disallow: */comment #Запрещаем комментарии Disallow: *comments #Запрещаем комментарии Disallow: */attachment #Запрещаем вложения Disallow: /author/* #Запрещаем страницы авторов и пользователей Disallow: /page/ #Запрещаем индексировать страницы пагинации Disallow: *page #Запрещаем индексировать страницы пагинации Disallow: /*? #Запрещаем индексировать страницы поиска User-agent: GoogleBot #Только для Google Allow: /wp-content/plugins/*.js Allow: /wp-content/plugins/*.css Allow: /wp-content/plugins/*.jpg Allow: /wp-content/plugins/*.jpeg Allow: /wp-content/plugins/*.png Allow: /wp-includes/*.js Allow: /wp-includes/*.css Allow: /wp-content/themes/*.js Allow: /wp-content/themes/*.css Allow: /wp-content/uploads/*.jpg Allow: /wp-content/uploads/*.jpeg Allow: /wp-content/uploads/*.gif Allow: /wp-content/uploads/*.png Disallow: /xmlrpc.php Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */feed Disallow: */comment Disallow: *comments Disallow: */attachment Disallow: /author/* Disallow: /page/ Disallow: *page Disallow: /*? User-agent: Yandex #Только для Яндекса Allow: /wp-content/plugins/*.js Allow: /wp-content/plugins/*.css Allow: /wp-content/plugins/*.jpg Allow: /wp-content/plugins/*.jpeg Allow: /wp-content/plugins/*.png Allow: /wp-includes/*.js Allow: /wp-includes/*.css Allow: /wp-content/themes/*.js Allow: /wp-content/themes/*.css Allow: /wp-content/uploads/*.jpg Allow: /wp-content/uploads/*.jpeg Allow: /wp-content/uploads/*.gif Allow: /wp-content/uploads/*.png Allow: /feed/dzen/ #Разрешаю Яндекс Дзен (моя ссылка) Allow: /feed/turbo/ #Разрешаю Янжекс Турбо (моя ссылка) Disallow: /xmlrpc.php Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */feed Disallow: */comment Disallow: *comments Disallow: */attachment Disallow: /author/* Disallow: /page/ Disallow: *page Disallow: /*? Host: https://woohelp.ru #Ссылка на сайт Sitemap: https://woohelp.ru/sitemap.xml #Карта сайта Sitemap: https://woohelp.ru/sitemap.xml.gz #Сжатая карта сайта
Правильный Robots.txt для WordPress. Подведём итоги
Сегодня файл robots.txt не влияет на индексацию вашего сайта. Я видел у конкурентных мне сайтов (по категории технологии) совершенно открытый robots.txt ко всем ресурсам и многие из них находятся в топе по ключевым запросам.
Благодаря правильному файлу robots.txt вы можете уменьшить количество мусора в поисковике. Представьте если бы индексировали комментарии на форуме или в статье, то был бы прямо говоря бардак.
