Супер простой плагин — Robots.txt File позволит вам прямо в админ-панели wordpress, создать файл robots.txt и управлять им. Установить плагин вы сможете прямо из админ-панели wordpress. Перейдите по вкладке: Плагины — Добавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте плагин.
После установки и активации плагина, перейдите по вкладке: Настройки — Чтение, внизу страницы у вас появится специальное поле для файла robots.txt. Всё, что вам нужно сделать, это добавить текст файла в данное поле и сохранить настройки, всё готово ! Теперь файл всегда у вас под рукой, можно быстро редактировать.
Вот и всё, здесь всё очень просто, ссылку на готовый файл robots.txt я дал выше, просто замените в файле мой адрес сайта на свой и вставьте его себе на сайт.
Статья взята из открытых источников: http://info-effect.ru/plagin-robots-txt-wordpress.html