Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Сегодня сразу после обновления движка WordPress Яндекс прислал мне страшилку с запретом индексирования сайта. Обновление WordPress прошло при этом успешно, только файла robots.txt я на хостинге не обнаружил, так что будьте бдительны. Пришлось заливать на хостинг новый файл robots.txt и раз уж пришлось делать это, я решил показать, что именно у меня в robots.txt для WordPress если пригодится я буду рад.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВашСайт.ru
Sitemap: http://ВашСайт/sitemap.xml
Пользуйтесь! П.С. ВашСайт — заменить на адрес вашего сайта

Полезная информация:

Добавление PageNavi (постраничной навигации) в нестандартные шаблоны
Красивые WordPress caption
Площадки для размещения статей
Joomla/Mambo To WordPress Migrator (5 советов)
Локализация woocommerce Print Invoice & Delivery Note
Удалить все meta name=generator WordPress, Woocommerce, Saphali
Во время загрузки произошла ошибка... WordPress
Joomla/Mambo To WordPress Migrator Fatal error (решение)
Ubuntu простой backup на Яндекс диск
Разделитель в iSape / Sape
Добавление меню в старый шаблон WordPress
Дополнительный домен в панели ISPManager
TimThumb error has occured WordPress
Как включить интернациональные домены (punycode) в ISPConfig3
Правильные анонимайзеры
Как добавить алиас домена ISPConfig
Шаблон Mantra изменения вида пагинации
Cherry FrameWork logo + description
Как очистить очередь Exim
Количество сопутствующих товаров в Woocommerce
Польза простых файлов .bat
Доступ к namebased сайту без DNS-записи в Windows
Как распечатать каталог содержимого на диске
Как обойти AdBlock
Как склеить домены (301 редирект)
Системные переменные Windows
Javascript прокрутки страницы
Простой плагин email рассылки (Newsletter) для WordPress
ISPManager установить SSL сертификат
WordPress Super Cache - кто такой?
Обновление url и адрес картинок после изменения адреса блога
Удаляем строки Saphali Lite, Woocommerce, All in one seo pack
Сервис подбора цвета
Добавить новый sidebar
Полезные плагины WordPress
Повышение безопасности – редактируем .htaccess
WordPress не работают постоянные ссылки (404 Not Found)
Изменить количество памяти в Mamp Pro php.ini
Красивые письма с WP Better Emails
Woocommerce заказы со статусом "ожидание оплаты" автоматически отменяются
Еще раз SSH Find и размер файлов
Удаляем второй meta name=description от All in One Seo Pack
Как прочистить дюзы принтеру Epson Stylus Photo на Mac OS X
Html в конце ссылок страниц WordPress
Отображение и текста и логотипа в шаблоне WordPress
MainWP Child не добавляется при успешном подключении [Решено]
Не показывать виджет iMoney если он пуст
Jazzy Forms плагин, который радует!
Woocommerce: изменить "Спасибо. Ваш заказ был принят."
Обновляем WordPress до 3.5
Переезд на новый домен
Как в WordPress импортировать .xml файл больше 2mb
Удалить category WordPress
Как удалить ссылки на картинки в новостях WordPress
Задача: выравнять картинки по центру div-ов с помощью CSS
Метки: , , , , . Закладка Постоянная ссылка.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.