Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Сегодня сразу после обновления движка WordPress Яндекс прислал мне страшилку с запретом индексирования сайта. Обновление WordPress прошло при этом успешно, только файла robots.txt я на хостинге не обнаружил, так что будьте бдительны. Пришлось заливать на хостинг новый файл robots.txt и раз уж пришлось делать это, я решил показать, что именно у меня в robots.txt для WordPress если пригодится я буду рад.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВашСайт.ru
Sitemap: http://ВашСайт/sitemap.xml
Пользуйтесь! П.С. ВашСайт — заменить на адрес вашего сайта

Полезная информация:

Javascript прокрутки страницы
Как настроить DNS шаблоны в ISPConfig 3
Как сделать в windows 7 в папке «столбцы по размеру содержимого» по умолчанию?
Html в конце ссылки статей в WordPress
Сделать изображения одинаковыми по высоте средствами CSS
Как склеить домены (301 редирект)
Отображение количества просмотров статьи в подходящем месте
Во время загрузки произошла ошибка... WordPress
WP-PageNavi добавление пагинации
Несколько мыслей про Skype
Footer в functions.php для дочерней (child) темы StoreFront WordPress
Удаление плагинов WordPress
Правильный robots.txt
Исправляем проблемы с кодировкой (utf-8 charset)
Плагин карты сайта XML
Удалить category WordPress
Разделитель в iSape / Sape
Красивые письма с WP Better Emails
Ошибка платежа Яндекс.Касса и Woocommerce
Случайный вывод кода (видео, текст, картинки)
Как убрать ссылку из плагина iSape в WordPress
Как добавить отображения даты в подвале сайта WordPress.
ISPManager установить SSL сертификат
Системные переменные Windows
Добавить валюту (руб.) в woocommerce
Простой и красивый способ украсить UnderConstruction
Шаблон Mantra изменения вида пагинации
Задача: выравнять картинки по центру div-ов с помощью CSS
Как в Mac Os X заменить QIP
Отображение и текста и логотипа в шаблоне WordPress
WordPress http error - решение проблемы
Как отключить сообщения «системы безопасности» Mac OS X
Как очистить очередь Exim
Обновляем WordPress до 3.5
Как убрать точки li в меню
Akismet и его API key
Локализация woocommerce Print Invoice & Delivery Note
Ошибка Deprecated: Function ereg() is deprecated in /samefile.php on line 142
Добавить новый sidebar
Удалить все meta name=generator WordPress, Woocommerce, Saphali
Простой плагин email рассылки (Newsletter) для WordPress
ISPConfig 3 установить флаг active в MyDNS
Простой скрипт обратного отсчета (javascript)
Площадки для размещения статей
Как включить logging (debugging) в ISPConfig 3
Как выводить первую картинку поста wordpress
TimThumb error has occured WordPress
Как обойти AdBlock
WordPress Super Cache - кто такой?
Jazzy Forms плагин, который радует!
MainWP Child не добавляется при успешном подключении [Решено]
Woocommerce WaitingList
iSape vs VKontakte API и iMoney + VK comments
Переезд на новый домен
Как распечатать каталог содержимого на диске
Метки: , , , , . Закладка Постоянная ссылка.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.