Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Сегодня сразу после обновления движка WordPress Яндекс прислал мне страшилку с запретом индексирования сайта. Обновление WordPress прошло при этом успешно, только файла robots.txt я на хостинге не обнаружил, так что будьте бдительны. Пришлось заливать на хостинг новый файл robots.txt и раз уж пришлось делать это, я решил показать, что именно у меня в robots.txt для WordPress если пригодится я буду рад.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВашСайт.ru
Sitemap: http://ВашСайт/sitemap.xml
Пользуйтесь! П.С. ВашСайт — заменить на адрес вашего сайта

Полезная информация:

Javascript прокрутки страницы

Как изменить длину анонса (excerpt) плагин

Правильные анонимайзеры

Jazzy Forms плагин, который радует!

Поиск по размеру файла в Ubuntu

Ошибка платежа Яндекс.Касса и Woocommerce

Локализация woocommerce Print Invoice & Delivery Note

Обвести текст при помощи HTML и CSS

Как в WordPress импортировать .xml файл больше 2mb

Удалить все meta name=generator WordPress, Woocommerce, Saphali

Правильный robots.txt

Html в конце ссылок страниц WordPress

Разделитель в iSape / Sape

Форма контактов для WordPress

Изменить количество памяти в Mamp Pro php.ini

Сервис подбора цвета

Как склеить домены (301 редирект)

Удаляем второй meta name=description от All in One Seo Pack

Как убрать ссылку из плагина iSape в WordPress

Убрать category из ссылки WP (продолжение)

Повышение безопасности – редактируем .htaccess

Во время загрузки произошла ошибка... WordPress

ISPConfig 3 установить флаг active в MyDNS

Добавить валюту (руб.) в woocommerce

Cherry FrameWork logo + description

Ubuntu простой backup на Яндекс диск

Как удалить ссылки на картинки в новостях WordPress

MainWP Child не добавляется при успешном подключении [Решено]

Переезд на новый домен

Добавить html в категорию и страницу

Количество сопутствующих товаров в Woocommerce

WordPress Super Cache - кто такой?

Добавить новый sidebar

Backup сайта в DropBox

Как быстро узнать версию ISPConfig 3 (ssh)

Сделать изображения одинаковыми по высоте средствами CSS

Как обойти AdBlock

WP-PageNavi добавление пагинации

Как настроить DNS шаблоны в ISPConfig 3

Вывод материалов из рубрики списком WordPress

Полезные плагины WordPress

Woocommerce WaitingList

WordPress http error - решение проблемы

Breadcrumbs редактировать в Cherry FrameWork

Доступ к namebased сайту без DNS-записи в Windows

Как добавить отображения даты в подвале сайта WordPress.

Html в конце ссылки статей в WordPress

Задача: выравнять картинки по центру div-ов с помощью CSS

Заменить слова в базе MySQL средствами phpMyAdmin

Footer в functions.php для дочерней (child) темы StoreFront WordPress

Akismet и его API key

Как распечатать каталог содержимого на диске

Как выводить первую картинку поста wordpress

Woocommerce: изменить "Спасибо. Ваш заказ был принят."

ISPManager установить SSL сертификат

Метки: , , , , . Закладка Постоянная ссылка.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.