Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Сегодня сразу после обновления движка WordPress Яндекс прислал мне страшилку с запретом индексирования сайта. Обновление WordPress прошло при этом успешно, только файла robots.txt я на хостинге не обнаружил, так что будьте бдительны. Пришлось заливать на хостинг новый файл robots.txt и раз уж пришлось делать это, я решил показать, что именно у меня в robots.txt для WordPress если пригодится я буду рад.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВашСайт.ru
Sitemap: http://ВашСайт/sitemap.xml
Пользуйтесь! П.С. ВашСайт — заменить на адрес вашего сайта

Полезная информация:

Ошибка Deprecated: Function ereg() is deprecated in /samefile.php on line 142

Cherry FrameWork logo + description

Как удалить ссылки на картинки в новостях WordPress

Не показывать виджет iMoney если он пуст

Ubuntu простой backup на Яндекс диск

Правильный robots.txt

Полная русификация Woocommerce

WP-PageNavi добавление пагинации

Польза простых файлов .bat

Несколько простых команд для Cent OS

Добавить новый sidebar

Исправляем проблемы с кодировкой (utf-8 charset)

Как быстро узнать версию ISPConfig 3 (ssh)

ISPConfig 3 установить флаг active в MyDNS

Breadcrumbs редактировать в Cherry FrameWork

Как выводить первую картинку поста wordpress

Jazzy Forms плагин, который радует!

Как изменить длину анонса (excerpt) плагин

Удалить все meta name=generator WordPress, Woocommerce, Saphali

WordPress не работают постоянные ссылки (404 Not Found)

Как убрать точки li в меню

Добавление меню в старый шаблон WordPress

Еще раз SSH Find и размер файлов

Повышение безопасности – редактируем .htaccess

Площадки для размещения статей

Обновление url и адрес картинок после изменения адреса блога

Полезные фотосервисы

Правильные анонимайзеры

Русификация плагина «NextGEN Gallery» (файл)

Javascript прокрутки страницы

Отображение количества просмотров статьи в подходящем месте

Доступ к namebased сайту без DNS-записи в Windows

Простой плагин email рассылки (Newsletter) для WordPress

Поиск по размеру файла в Ubuntu

Удаление плагинов WordPress

Woocommerce WaitingList

Обвести текст при помощи HTML и CSS

Akismet и его API key

Дополнительный домен в панели ISPManager

Форма контактов для WordPress

Как включить logging (debugging) в ISPConfig 3

Footer в functions.php для дочерней (child) темы StoreFront WordPress

Html в конце ссылки статей в WordPress

Отображение и текста и логотипа в шаблоне WordPress

MainWP Child не добавляется при успешном подключении [Решено]

Как отключить сообщения «системы безопасности» Mac OS X

При обновлении произошла ошибка: Не удалось определить директорию содержимого

Как в Mac Os X заменить QIP

Как обойти AdBlock

Красивые WordPress caption

Html в конце ссылок страниц WordPress

Удаляем строки Saphali Lite, Woocommerce, All in one seo pack

Переезд на новый домен

Разделитель в iSape / Sape

Вывод материалов из рубрики списком WordPress

Метки: , , , , . Закладка Постоянная ссылка.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.