В интернете можно найти много статей какой robots.txt для WordPress лучше использовать, но безусловно администратор сайта должен самостоятельно определить, что необходимо отдавать ботам для индексации, а что запрещать.

Я как и многие другие потратив приличное количество времени на поиск оптимального шаблона robots.txt уяснил только одно, что конкретного варианта нет. Вы можете экспериментировать, никто вам этого не запрещает.
Правильный robots.txt для WordPress

Создаем robots.txt для WordPress

Ниже представлен код одного из моих проектов про технологии и гаджеты, посещаемость ресурса более 7500 уникальных посетителей  в сутки.
В своем каталоге сайта создайте файл и за основу можете взять мой robots.txt:

User-agent: *                      #Для всех ботов, кроме Яндекса и Google
Allow: /wp-content/plugins/*.js    #Разрешаем js-скрипты в папке плагинов 
Allow: /wp-content/plugins/*.css   #Разрешаем css файлы в папке плагинов
Allow: /wp-content/plugins/*.jpg   #Разрешаем картинки в папке плагинов
Allow: /wp-content/plugins/*.jpeg  #Разрешаем картинки в папке плагинов
Allow: /wp-content/plugins/*.png   #Разрешаем картинки в папке плагинов 
Allow: /wp-includes/*.js           #Разрешаем js-скриты в главной папке WordPress
Allow: /wp-includes/*.css          #Разрешаем css в главной папке WordPress
Allow: /wp-content/themes/*.js     #Разрешаем js-скриты в теме
Allow: /wp-content/themes/*.css    #Разрешаем css файлы в теме
Allow: /wp-content/uploads/*.jpg   #Разрешаем индексировать загруженные картинки
Allow: /wp-content/uploads/*.jpeg  #Разрешаем индексировать загруженные картинки
Allow: /wp-content/uploads/*.gif   #Разрешаем индексировать загруженные картинки
Allow: /wp-content/uploads/*.png   #Разрешаем индексировать загруженные картинки
Disallow: /xmlrpc.php              #Запрещаем файл интеграции WordPress API
Disallow: /cgi-bin                 #Запрещаем папку со скриптами
Disallow: /wp-admin                #Запрещаем файлы в административной части WordPress
Disallow: /wp-includes             #Запрещаем файлы в ядре WordPress
Disallow: /wp-content/plugins      #Запрещаем файлы плагинов
Disallow: /wp-content/cache        #Запрещаем кеш, отдаем только актуальные файлы
Disallow: /wp-content/themes       #Запрещаем файлы тем
Disallow: /trackback               #Запрещаем уведомления о ссылках
Disallow: */feed                   #Запрещаем фиды
Disallow: */comment                #Запрещаем комментарии
Disallow: *comments                #Запрещаем комментарии
Disallow: */attachment             #Запрещаем вложения
Disallow: /author/*                #Запрещаем страницы авторов и пользователей
Disallow: /page/                   #Запрещаем индексировать страницы пагинации
Disallow: *page                    #Запрещаем индексировать страницы пагинации
Disallow: /*?                      #Запрещаем индексировать страницы поиска



User-agent: GoogleBot              #Только для Google
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.jpg
Allow: /wp-content/plugins/*.jpeg
Allow: /wp-content/plugins/*.png
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/uploads/*.jpg
Allow: /wp-content/uploads/*.jpeg
Allow: /wp-content/uploads/*.gif
Allow: /wp-content/uploads/*.png
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */feed
Disallow: */comment
Disallow: *comments
Disallow: */attachment
Disallow: /author/*
Disallow: /page/
Disallow: *page
Disallow: /*?

User-agent: Yandex                 #Только для Яндекса
Allow: /wp-content/plugins/*.js 
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.jpg
Allow: /wp-content/plugins/*.jpeg
Allow: /wp-content/plugins/*.png
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/uploads/*.jpg
Allow: /wp-content/uploads/*.jpeg
Allow: /wp-content/uploads/*.gif
Allow: /wp-content/uploads/*.png
Allow: /feed/dzen/                 #Разрешаю Яндекс Дзен (моя ссылка)
Allow: /feed/turbo/                #Разрешаю Янжекс Турбо (моя ссылка)
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */feed
Disallow: */comment
Disallow: *comments
Disallow: */attachment
Disallow: /author/*
Disallow: /page/
Disallow: *page
Disallow: /*?

Host: https://woohelp.ru       #Ссылка на сайт
Sitemap: https://woohelp.ru/sitemap.xml     #Карта сайта
Sitemap: https://woohelp.ru/sitemap.xml.gz  #Сжатая карта сайта

Правильный Robots.txt для WordPress. Подведём итоги

Сегодня файл robots.txt не влияет на индексацию вашего сайта. Я видел у конкурентных мне сайтов (по категории технологии) совершенно открытый robots.txt ко всем ресурсам и многие из них находятся в топе по ключевым запросам.

Благодаря правильному файлу robots.txt вы можете уменьшить количество мусора в поисковике. Представьте если бы индексировали комментарии на форуме или в статье, то был бы прямо говоря бардак.