Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Сегодня сразу после обновления движка WordPress Яндекс прислал мне страшилку с запретом индексирования сайта. Обновление WordPress прошло при этом успешно, только файла robots.txt я на хостинге не обнаружил, так что будьте бдительны. Пришлось заливать на хостинг новый файл robots.txt и раз уж пришлось делать это, я решил показать, что именно у меня в robots.txt для WordPress если пригодится я буду рад.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВашСайт.ru
Sitemap: http://ВашСайт/sitemap.xml
Пользуйтесь! П.С. ВашСайт — заменить на адрес вашего сайта

Полезная информация:

Как настроить DNS шаблоны в ISPConfig 3

Несколько мыслей про Skype

Ошибка платежа Яндекс.Касса и Woocommerce

Html в конце ссылок страниц WordPress

iSape vs VKontakte API и iMoney + VK comments

Простой плагин email рассылки (Newsletter) для WordPress

WordPress Super Cache - кто такой?

Заменить слова в базе MySQL средствами phpMyAdmin

Обновление url и адрес картинок после изменения адреса блога

Простой и красивый способ украсить UnderConstruction

Как в Mac Os X заменить QIP

Javascript прокрутки страницы

Количество сопутствующих товаров в Woocommerce

Удаляем второй meta name=description от All in One Seo Pack

Отображение и текста и логотипа в шаблоне WordPress

ISPConfig 3 установить флаг active в MyDNS

Удаление плагинов WordPress

Простой скрипт обратного отсчета (javascript)

Задача: выравнять картинки по центру div-ов с помощью CSS

Повышение безопасности – редактируем .htaccess

WordPress http error - решение проблемы

Форма контактов для WordPress

Дополнительный домен в панели ISPManager

Сделать изображения одинаковыми по высоте средствами CSS

Backup сайта в DropBox

TimThumb error has occured WordPress

Принудительное включение отображения ошибок в PHP

Площадки для размещения статей

Обновляем WordPress до 3.5

Как быстро узнать версию ISPConfig 3 (ssh)

Ошибка Deprecated: Function ereg() is deprecated in /samefile.php on line 142

Как распечатать каталог содержимого на диске

Как убрать точки li в меню

Правильные анонимайзеры

Добавление меню в старый шаблон WordPress

Удаляем строки Saphali Lite, Woocommerce, All in one seo pack

Полная русификация Woocommerce

Добавить новый sidebar

Управления ссылками WordPress плагин WPNoExternalLinks

Добавить валюту (руб.) в woocommerce

Русификация плагина «NextGEN Gallery» (файл)

Поиск по размеру файла в Ubuntu

Разделитель в iSape / Sape

Woocommerce: изменить "Спасибо. Ваш заказ был принят."

Как включить интернациональные домены (punycode) в ISPConfig3

Как прочистить дюзы принтеру Epson Stylus Photo на Mac OS X

Переезд на новый домен

Добавление бесплатного SSL сертификата на WordPress

Обвести текст при помощи HTML и CSS

Удалить все meta name=generator WordPress, Woocommerce, Saphali

WP-PageNavi добавление пагинации

Исправляем проблемы с кодировкой (utf-8 charset)

Ubuntu простой backup на Яндекс диск

Как убрать ссылку из плагина iSape в WordPress

WordPress не работают постоянные ссылки (404 Not Found)

Метки: , , , , . Закладка Постоянная ссылка.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.