Тех.поддержка

КЛИЕНТЫ В БИЗНЕС

Моя задача - Ваши продажи!

Блог Сергея Абрамова » NOTgovnoBLOG » Настройка файла robots.txt для блога на WordPress

Настройка файла robots.txt для блога на WordPress

Создание и настройка файла robots.txt для WordPress

Очередные выходные, а значит, рассматривается очередная рекомендация по оптимизации Вашего блога. Сегодня это SEO-рекомендация – грамотная настройка файла robots.txt.

Но сначала хочу напомнить, что, помимо рекомендаций, каждую неделю Я еще провожу бесплатный аудит одного из блогов своих читателей. Что удивительно, заявку на проведение бесплатного аудита на этой неделе не прислал никто, поэтому и аудита бесплатного тоже нет.

А теперь перейдем, собственно, к теме сегодняшней рекомендации – грамотная настройка файла robots.txt.

Что такое файл robots.txt и зачем он нужен?

Как Вы, наверное, знаете, чтобы Ваш сайт попал в индексацию поисковых систем, его должны проиндексировать поисковые роботы этих самых поисковых систем. Так вот, первое к чему обращаются поисковые роботы, зайдя на Ваш сайт – это файл robots.txt.

Там они смотрят первоначальную информацию о Вашем сайте. Поэтому, пренебрегать данным файлом не стоит. Наоборот, следует со всей серьезностью подойти к настройке данного файла, тем более что сделать это нужно всего один раз.

С рекомендациями, как использовать файл robots.txt, от самих поисковых систем Вы можете ознакомиться, перейдя по соответствующим ссылкам: Яндекс Google

Как создать файл robots.txt и куда его девать?

Данный файл представляет собой обычный текстовый файл, который Вы сможете создать в любом текстовом редакторе (Я для этого использую программу Notepad++).

После создания файла robots.txt, его необходимо разместить в корневую папку Вашего сайта. Т.е., чтобы данный файл был доступен по адресу: http://ВАШСАЙТ.ru/robots.txt

Что можно настраивать в robots.txt?

Самое главное, на что стоит обратить внимание, при настройке файла robots.txt – это дать указания поисковым роботам, какие страницы стоит индексировать, чтобы в индекс поисковиков попали только действительно целевые страницы.

а) Какие страницы индексировать на Вашем сайте?

Движок WordPress устроен так, что он создает довольно много дублей одинакового контента на Вашем сайте, что негативно сказывается при продвижении сайта. Помимо основной страницы с записью, тот же самый контент можно, к примеру, увидеть и на странице тегов, и на странице категорий, причем не по одному разу.

К тому же роботы могут не понять, какая их этих многочисленных страниц главная, и выберет за основную совсем не ту страницу, которая нужна Вам.

Поэтому, Ваша задача дать указания поисковикам, не индексировать страницы, которые создают дублированный контент.

б) Какие папки и файлы индексировать на Вашем сервере?

Не секрет, что движок WordPress, имеет довольно много технических папок и файлов. И если поисковый робот будет все это индексировать, то есть будет просматривать каждый файл на Вашем сервере, то это создаст довольно большую нагрузку на сервер, что Вам абсолютно не к чему.

Тут есть и еще один минус, если робот будет знать, что на индексацию Вашего сайта необходимо, к примеру, 10 минут, а на индексацию соседнего сайта, к примеру, 10 секунд, то и посещать Ваш сайт он будет намного реже, нежели соседний ресурс. А это значит, что Ваши новые записи будут попадать в индекс поисковиков с большой задержкой.

в) Как индексировать Ваш сайт, с WWW или без?

Думаю, Вы знаете, что для поисковых систем следующие два сайта, это два совершено разных сайта: ВАШСАЙТ.ru и www.ВАШСАЙТ.ru. Более того, поисковик воспринимает эти сайты, как копии друг друга, т.е. как дублированный контент.

Конечно, через какое-то время, поисковик сам, на свое усмотрение выберет, какой из этих двух сайтов является главным. Но этот выбор может быть не таким, какой сделали Вы.

Например, Вы продвигаете свой сайт без www, т.е. просто ВАШСАЙТ.ru, а поисковик при этом выбрал за основной Ваш сайт по адресу www.ВАШСАЙТ.ru. Вы, например, разместили где-то ссылки на Ваш ресурс без www, и надеетесь, что эти ссылки будут продвигать Ваш сайт. Но для поисковика эти ссылки указывают совсем на другой сайт.

А теперь представьте, что Яндекс выбрал за основной Ваш сайт без www, а Google выбрал с www. Поэтому следует самим указывать поисковикам, как индексировать Ваш сайт.

г) Где находится карта сайта для поисковых роботов?

Когда на Вашем сайте становится страниц более 50, то необходимо составлять карту сайта для поисковых роботов. Как правило, данная карта сайта доступна по адресу sitemap.xml (как корректно настраивать данный файл, мы разберем в следующих статьях).

В файле robots.txt Вам как раз и необходимо прописать, где находится Ваша карта сайта.

Настройка файла robots.txt для движка WordPress

Ниже на изображении представлен готовый код файла robots.txt для движка WordPress. В нем учтены все рекомендации, которые были рассмотрены выше. Скачать сам файл Вы сможете по ссылке под изображением.

Настройка файла robots.txt для WordPress

Скачать настроенный файл robots.txt для WordPress:

__________
Автор: Сергей Абрамов
Понравилась публикация? Подпишись на обновления по RSS или e-mail
И обязательно расскажи друзьям в соцсетях об интересной статье:

Популярные записи:

Комментарии (42)

  • Спасибо за доступную информацию! Очень грамотно подан материал, все понятно и на первый взгляд просто для новичка. И главное, что бесплатно! Спасибо Вам, Сергей. А для запрета индексацию страницы что можно сделать?

  • Описанное в статье для меня не новое. Несколько месяце назад, тоже настраивал robots.txt для своего блога. Поисковые роботы однозначно лучше стали его воспринимать. Обидно только, что я не смог найти нормальный готовый,копался, прописывал этот файл, а тут он в вот, пользуйтесь пожалуйста.

  • Я начинающий блогер. А если добавить в файл robots все страницы сайта без исключения, то результат в выдаче поисковика хуже не станет? Или все же это каким то разом повлияет на выдачу или на что либо еще?

    • Лучше не допускать к индексации сайта страницы, которые содержат одинаковый контент. В файл robots.txt Вы не добавляете страницы. В данном файле Вы наоборот запрещаете к индексации страницы.

  • Очень полезная статья для тех кто хочет продвинуть свой сайт.Четкая, грамотно написанная инструкция в которой разберется даже новичок.Файл robots.txt очень кстати подойдет для создания и продвижения сайта ведь он уже настроен.Приятно что файл можно скачать бесплатно

  • Да, действительно, файл robots.txt крайне важен для правильной и качественной индексации сайта поисковыми двигателями.

    Полезная возможность этого файла заключается в его способности запретить индексирование определенного раздела сайта. Так, например, блоггер запросто может закрыть от индексации отдельную страницу или же целую рубрику.

  • Николай Сафронов says:

    Спасибо большое за информативную статью! Как раз искал правильный robots.txt для своего блога на WordPress. Надеюсь теперь, Яндекс и Google станут правильнее индексировать его.

  • Подскажите а возможно ли настроить robots.txt при работе на юкозе? Если можно опишите подробный процесс для сайтов размещенных на бесплатных хостингах.

  • Очень нужная информация для меня. Собираюсь создавать свой сайт и нужно будет его продвигать, правда пока не знаю как у меня это пойдёт. Так что спасибо за информацию о robots.txt. Скорее всего потом у меня возникнут ещё вопросы.

  • Спасибо большое за очередную, очень полезную статью! Для меня это все новое, приходиться очень много читать и изучать, а здесь все очень подробно расписано, да еще и настроенный файл — шаблон скачать можно!

  • Очень полезная у вас статья. Возможность скачать файл и описание его работы очень нужно для продвижения сайта. Спасибо за вашу работу в этом направлении.Сталкиваясь с нюансами наполнения сайта приходится искать что и как у разных источников, а у вас всё так подробно.

  • спасибо за статью на эту тему потому что сам с этим столкнулся, а здесь получил качественный ответ на свои вопросы. И мне эта информация помогла.Для начинающих блоггеров полезная информация.

  • Виталий Приступа says:

    Для меня, как для новичка это словно откровение. Я ведь как думал: потихоньку, ссылочками, где то через соцсети, а оказывается не все так просто. Поэтому для меня эта статья очень важна. Большое спасибо автору, обязательно воспользуюсь.

  • Спасибо за очередной урок! На самом деле как раз на прошлой неделе пыталась нормально написать этот тег для своего сайта. За готовый шаблон просто громадная благодарность. И вопрос: если без движков, а "ручками", есть ли необходимость что-то прописывать, что не указано в образце?

  • Думаю, прописывать директивы для Yandex сейчас уже не требуется. Если вы посмотрите файл robots.txt трастовых сайтов, то вряд ли увидите команды под Яшу.

  • Ответьте мне, пожалуйста, на внезапно возникший вопрос. На моем сайте имеется страничка для оформления заказов, на которой расположена соответствующая форма. Но эта форма использует JavaScript для подгрузки данных с другого веб-ресурса. Следует ли мне закрыть ее от индексации ПС в robots.txt?

  • Сергей, спасибо за статью.
    На моем блоге на вп стоит такой роботс. Но все равно гугл индексирует две каких-то странных страницы, не могу понять, откуда они берутся...

  • Спасибо за полезную статью. Сделала свой первый сайт и сейчас занимаюсь его продвижением. Для меня это пока темный лес, про файл robot.txt я даже не знала. И у меня вопрос, статья актуальна только для WordPress или для Joomla тоже?

    • Статья актуальна для любого сайта. А код, который Вы можете скачать только для WordPress.

  • Вообще настраивать robots.txt надо отдельно для каждого сайта. Хотя и есть общие схемы, соглашусь о важности файлика. Именно корректная его настройка позволяет хорошую индексацию.

  • Очень полезная статья. Много слышал о необходимости использования файла robots.txt, но самые подробные описание, как это сделать максимально эффективным я прочитал здесь.

  • Мне очень интересно было прочитать вашу статью, даже не подозревала о существовании такого файла.
    Может знаете ответ на мой вопрос, можно ли сделать так сайт, что бы его не могла индексировать не одна поисковая система. Например информация на сайте есть, но прочитать ее может только небольшой круг людей. Почему задаю такой вопрос? Наверное просто женское любопытство.

  • Очень ценно, что вы, Сергей, дали возможность скачать правильно настроенный robots.txt файл. Советы — советами, но когда начинаешь заниматься новым для себя делом, тыкаешься, как слепой котенок! Когда придет опыт, можно будет подправить базовый вариант в соответсвии со своей спецификой. БОльшое вам спасибо!

  • Огромное спасибо, Сергей, за данную статью. Дело в том, что я собираюсь открывать собственный сайт. Поэтому изучаю всю информацию связанную с данной работой. И Ваша статья стала для меня открытием. Обязательно воспользуюсь Вашим файлом.

  • Сергей, спасибо за ценную (и при этом бесплатную) информацию! Я как раз недавно создала свой сайт. Для меня все подобные нюансы в диковинку, а Ваше доступное описание привлекает. И готовый код будет очень кстати!

  • Очень много интересной информации. Я уже создал свой сайт, но вот с настройками немного запутался. Ваша статья помогла найти нужный ключик к WordPress, за что Вам и спасибо!

  • Ничего лишнего, всё четко, ясно и понятно. Сам не новичок в этом деле, с настройкой robots.txt уже приходилось сталкиваться, но все же мануал хороший, новичкам по-любому пригодится.

  • Полезная статья. Настройка этого файла очень важна, так как позволяет предотвратить доступ поисковых систем в отдельные папки и на отдельные страницы, где может храниться конфиденциальная информация.

  • Я решил сменить чпу на сайте, в итоге решил на четверть материалов сделать редирект 301. Скажите как лучше всего прописать эти изменения в robots.txt?

  • Хорошая статья, где автор детально разложил по полочкам весь материал. Единственное чего не хватает — это конкретных примеров под каждым из пунктов статьи.

    • Андрей, специально не даю примеры. Блог посвящен не техническим моментам. Пусть это все делают фрилансеры. А руководитель сайта просто должен знать что, да как должно быть на его сайте.

  • Тамара Яковлева says:

    Весьма полезная информация, тем более готовый настроенный файл robots.txt для WordPress. От работы этого файла зависит много.

  • Елена says:

    Много нового прочитала на этом блоге. Скачала себе Роботс. Вы обещаете сделать бесплатный аудит сайта, я пыталась через почту сделать заявку, но почему-то на Ваш адрес не отправляется письмо. Буду признательна, если Вы сделаете аудит моего сайта http://podarok-yau.ru, мой адрес vizira2201@yandex.ru.

    • Здравствуйте, Елена.
      Бесплатные аудиты уже не делаем.
      В 2013 году проводили бесплатно.

  • Вероничка! says:

    MySQL пользователей и баз данных, тогда вы можете воспользоваться нижеприведенными инструкциями для создания пользователя и базы данных для WordPress.

  • Здравствуйте Сергей! А если у меня движок находится в другой папке, не в корне, нужно писать /папка/wp-admin/ например. Или просто /wp-admin/

  • А в чем разница между wp-comments, */comments и просто /comments?

скрыть
ОСТАВИТЬ КОММЕНТАРИЙ К СТАТЬЕ