Скачать бесплатно готовый файл robots.txt для сайта на wordpress


Скачать бесплатно готовый файл robots.txt для сайта на wordpress

Я тут обновил свой файл robots.txt для wordpress, поэтому решил написать статью вдруг кому пригодится. Кстати старая версия моего robots.txt то же правильная, так что можете спокойно пользоваться. В нового робота я просто добавил ещё больше ограничений на индексацию некоторых файлов. Конечно файл robots.txt нужно создавать исключительно из предпочтений каждого сайта, но если у вас обычный блог на wordpress, то можно и не заморачиваться и загрузить такой же файл робота как у меня.

Поясню, что обозначается в файле, по строчкам, начиная с первой:

 

1 — Файл обращается ко всем поисковым роботам, без исключений.

2 — Разрешено индексировать папку image с изображениями.

3 — Разрешено индексировать jS Java скрипты.


4 — Запрет индексации раздела wp-includes

5 — Запрет индексации фида, чтобы не создавать дубли.

6 — Запрет индексации раздела wp-admin, роботам там нечего делать.

7 — Запрет индексации кэша, зачем индексировать копии файлов ?

8 — Запрет индексации загруженных тем, можно и не запрещать, если 1 тема.

9 — Запрет индексации загруженных плагинов, для тех у кого мноооога плагинов.

10 — Указываем ссылку на файл Sitemap.

11 — Указываем основной домен для сайта, чтобы робот не индексировал ваш сайт www.info-effect.ru, посмотрите как ваш сайт отображается в браузере, если без www, то ваш основной домен info-effect.ru его и нужно указать в файле робота.

12 — Разрешаем роботу Googelbot-Image индексировать папку uploads где находятся все изображения из ваших записей.

13 — Разрешаем роботу YandexImage индексировать папку uploads где находятся все изображения из ваших записей.

Кстати слэш / в конце названия раздела или файла означает, что запрет идёт на все файлы начинающиеся с /wp-admin/ то есть и /wp-admin/file1 и /wp-admin/file2. В общем конечно можно поэкспериментировать с файлом robots.txt для этого нужно проанализировать ваш корневой каталог. Например если у вас в файле image нет изображений, то и не зачем запрещать индексацию. В общем я думаю вы поняли, на самом деле здесь нет ничего сложного, просто разобраться надо и всё. Включайте мозги !


Настройки постоянных ссылок WordPress

В настройках WordPress можно выбрать один из четырех готовых вариантов отображения URL-адресов страниц вашего сайта. Кроме этого в пятом варианте вы можете создать свой собственный шаблон.

  • По умолчанию. Фирменный шаблон ссылок WordPress. Достоинство его в краткости. Большинство пользователей именно его и выбирают из готовых шаблонов.
  • День и название. Ссылка состоит года, месяца, даты публикации материала и из его заголовка.
  • Месяц и название. Ссылка формируется из года, месяца публикации материала и из его заголовка.
  • Цифры. Ссылка формируется из префикса archives и из порядкового числа страницы, его ID.
  • Произвольно. Собственный шаблон с использованием специальных тегов, отвечающих за отображение элементов в ссылке.

Вы можете настроить свои ссылки по своему усмотрению прописав в поле произвольно комбинацию из следующих тегов:

  • %year% — год публикации
  • %monthnum% — номер месяца публикации
  • %day% — день публикации
  • %hour% — час публикации
  • %minute% — минута публикации
  • %second% — секунда публикации
  • %postname% — заголовок публикации
  • %post_id% — порядковое число материала, ID WordPress
  • %category% — рубрика публикации
  • %tag% — тэг (метка), прописанная для материала
  • %autor% — имя автора публикации.

ВНИМАНИЕ: Если вы собираетесь использовать произвольный шаблон, и он будет начинаться с тегов %postname%, %category%, %tag% или %autor%, установите плагин Rus-to-Lat. Иначе при формировании ссылок могут возникнуть ошибки. Плагин Rus-to-Lat переводит русские буквы в латиницу, что исключает появление ошибок при формировании ссылок.

У меня в поле «Произвольно» прописано /%category%/%postname%/. То есть в постоянной ссылке будет отображаться https://wordpress-book.ru/название рубрики/заголовок публикации/. В этом вы можете легко убедиться, взгляните на адресную строку вашего браузера.

Если вы не используете шаблон по умолчанию (http://…/?p=1), можете добавить префикс (приставку) для рубрик и меток. Например, префикс для рубрик — topics, а для меток — tag.

После этого ссылка на  эту статью в рубриках будет выглядеть так:

А на метку (одна из меток для этой записи — «Настройки постоянных ссылок wordpress») так:

Если желаете добавить .html в конце ссылки метки для этого в поле произвольно в конце тега нужно прописать .html Например вместо /%category%/%postname%/ прописать /%category%/%postname%.html а если для метки, то /%tag%.html

Статья взята из открытых источников: https://wordpress-book.ru/nastrojka-wordpress/nastrojka-postoyannyx-ssylok/

Поделиться статьей с друзьями: