Скачать бесплатно готовый файл robots.txt для сайта на wordpress

Скачать бесплатно готовый файл robots.txt для сайта на wordpress

Я тут обновил свой файл robots.txt для wordpress, поэтому решил написать статью вдруг кому пригодится. Кстати старая версия моего robots.txt то же правильная, так что можете спокойно пользоваться. В нового робота я просто добавил ещё больше ограничений на индексацию некоторых файлов. Конечно файл robots.txt нужно создавать исключительно из предпочтений каждого сайта, но если у вас обычный блог на wordpress, то можно и не заморачиваться и загрузить такой же файл робота как у меня.

Поясню, что обозначается в файле, по строчкам, начиная с первой:

 

1 — Файл обращается ко всем поисковым роботам, без исключений.

2 — Разрешено индексировать папку image с изображениями.

3 — Разрешено индексировать jS Java скрипты.

4 — Запрет индексации раздела wp-includes

5 — Запрет индексации фида, чтобы не создавать дубли.

6 — Запрет индексации раздела wp-admin, роботам там нечего делать.

7 — Запрет индексации кэша, зачем индексировать копии файлов ?

8 — Запрет индексации загруженных тем, можно и не запрещать, если 1 тема.

9 — Запрет индексации загруженных плагинов, для тех у кого мноооога плагинов.

10 — Указываем ссылку на файл Sitemap.

11 — Указываем основной домен для сайта, чтобы робот не индексировал ваш сайт www.info-effect.ru, посмотрите как ваш сайт отображается в браузере, если без www, то ваш основной домен info-effect.ru его и нужно указать в файле робота.

12 — Разрешаем роботу Googelbot-Image индексировать папку uploads где находятся все изображения из ваших записей.

13 — Разрешаем роботу YandexImage индексировать папку uploads где находятся все изображения из ваших записей.

Кстати слэш / в конце названия раздела или файла означает, что запрет идёт на все файлы начинающиеся с /wp-admin/ то есть и /wp-admin/file1 и /wp-admin/file2. В общем конечно можно поэкспериментировать с файлом robots.txt для этого нужно проанализировать ваш корневой каталог. Например если у вас в файле image нет изображений, то и не зачем запрещать индексацию. В общем я думаю вы поняли, на самом деле здесь нет ничего сложного, просто разобраться надо и всё. Включайте мозги !


Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *