Правильный файл robots.txt для сайта на wordpress

В поиске появляются мусорные страницы, то, что в моем robots написано, поисковики игнорируют. Подскажите правильный и актуальный файл robots.txt для wordpress, чтобы он был оптимальным для поисковиков Яндекс и Google, буду благодарен.

 

Для WP неплохим вариантом может служить такой Robots.txt

HTML:

User-agent:Yandex

Disallow:/wp-admin
Disallow:/wp-includes
Disallow:/wp-content/cache
Disallow:/wp-content/uploads
Disallow:/wp-content/plugins
Disallow:/wp-content/themes
Disallow:/comments
Disallow:*/comments
Disallow:/xmlrpc.php
Disallow:/tag
Disallow:/category/*/*
Disallow:*/trackback
Disallow:/feed
Disallow:*/feed
Disallow:/trackback
Disallow:*/trackback
Disallow:/*?
Disallow:/*?*
Disallow:/xmlrpc.php
Host:domen.ru
Sitemap:http://ваш_сайт/sitemap.xml

User-agent:*

Disallow:/wp-admin
Disallow:/wp-includes
Disallow:/wp-content/cache
Disallow:/wp-content/uploads
Disallow:/wp-content/plugins
Disallow:/wp-content/themes
Disallow:/comments
Disallow:*/comments
Disallow:/xmlrpc.php
Disallow:/tag
Disallow:/category/*/*
Disallow:*/trackback
Disallow:/feed
Disallow:*/feed
Disallow:/trackback
Disallow:*/trackback
Disallow:/*?
Disallow:/*?*
Disallow:/xmlrpc.php
Sitemap:http://ваш_сайт/sitemap.xml

 

Ты бы скинул, что лезет левого и нынешний роботс.

 

в базе посмотри, и тебя ни кто случаем не ломанул?)
Странное дело, домен на паркинге, ты откуда качал WP или шаблон признавайся.
ССылку кидай сюда на свой домен, чуйствую подцепил ты гавнеца или шаблончик у тебя особенный.

 

А заливал WP и шаблон я откуда придется

И еще кажется у меня с 404 какие-то проблемы

Но сам я чайник полный увы

 

Можно взять для примера вот эти две ссылки:


Код HTML:
http://www.utug.tv/2009/09/kogda-na-rusi-bylo/comment-page-1/?replytocom=68
http://www.utug.tv/2009/09/kogda-na-rusi-bylo/?replytocom=68

Они рабочие обе.

А скрипт первый это я ставил для регистрации в том каталоге (есть еще элементы кода с других каталогов и рейтингов. Я ставил сам.)

А второй - это элемент плагина WP для работы с картинками видимо. Плагин проверенный (NextGeEN Gallery).

И вот совсем беда - недавно ставил плагин для отображения сайта на моб. девайсах - появилась вообще вот такая хрень в яше (и гугеле):


Код HTML:
www.utug.tv/?wpmp_switcher=mobile
http://www.utug.tv/2010/04/industrialisation-in-the-ussr/?wpmp_switcher=desktop
ttp://www.utug.tv/2010/04/industrialisation-in-the-ussr/?wpmp_switcher=mobilewpmp_tp=1

Плагин удалил А СТРАНИЦЫ ПО АДРЕСАМ ЭТИМ ВСЕ РАВНО ОТКРЫВАЮТСЯ
И как все это изгонять ума не приложу (((
А роботс мой вот:


Код HTML:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /category/
Disallow: /archive/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /?p=
Disallow: /galery/
Disallow: /?wpmp_switcher=mobile
Disallow: /?wpmp_switcher=desktop
Disallow: /?wpmp_switcher=
Host: www.utug.tv
Sitemap: http://www.utug.tv/sitemap.xml

Эти три строки:


Код HTML:
Disallow: /?wpmp_switcher=mobile
Disallow: /?wpmp_switcher=desktop
Disallow: /?wpmp_switcher=

Являются продуктом моей злобы и доказательством моего бессилия и некомпетентности. На них внимания можно не обращать (как это сделал робот яндекса собака)

 

Так ты погоди немного, он их не сразу удалит)

 

Дело в том что я пытался вводить их в удалялку вебмастера яши, - отказывают - пишут что все с ними в порядке. (грешу на настройки 404)

А страницы комментов (/comment-page-1/) как с самого начала попали в индекс так только новые добавляются.

А обязательно в роботсе для яши отдельно все директивы прописывать?

 

что то я вобще уже запутался... зачем тебе всё это....

 

Я хочу что бы в индексах были только адреса статей, морды, статических страниц и может быть комментов.

Самое интересное что на том же хосте тоже на WP мой другой сайт с теми же настройками сео плагинов и роботса имеет индексацию о которой я мечтаю на Утюге.

Но на Утюге при одинаковых настройках яша например комменты хавает а на Спойлкете нет.
Почему - не понимаю.

 

Не ошибаешься.
Так запрети вот эти страниц
?wpmp_switcher=
и эту папку
/comment-page-1/
/comment-page-2/ и т.д.
Потом зайди в яндекс веб мастер, проверь запрет индексации страниц


Если покажет запрет индексации, то подожди пару апов, выкинет их из индекса.
Только сейчас точно понял, что тебе надо было.
404 тут вобще не причём.

 

Я, увы, не умею программировать файл роботс. Я все это запрещал по всякому. Такое ощущение что яша плюет на этот файл. Парадокс в том, что на втором сайте у меня ТОЧНО ТАКОЙ ЖЕ ФАЙЛ (копировал через буф. обмена) - но там все директивы выполнены идеально ()

Если на Форуме найдется вебмастер, который поможет мне решить проблему с настройками роботса, готов заплатить 500 wmr или типа того..

 

1) Яша убирает ссылки в течении 2-3 апов, а ап бывает раз в месяц.
2) Левые ссылки скорее всего сидят в самом движке. Качать нужно с офф сайтов. ВП тем более бесплатный так что найти офф сайт не составит труда.
3) Шаблон нужно просматривать полностью и не только код внешних страниц но и сами файлы пхп.
Я на дле столкнулся с таким и на вобле. Но в вобле разораться сложновато, так что пока не трогаю воблу. А движок длее я просто снес и достал офф версию и пока использую временные ключи.
Сейчас ссылки делают зашифрованным кодом в самом движке. На шаблонах уже школьниги вычищать научились. А вообще лучше всего купите шаблон.

 

Но это не левые ссылки, это элементы генерации страниц они есть в любом WP продукте, другое дело что не понятно как запретить элементы от индексации.

Я так понимаю что левые ссылки это когда с твоего сайта ведет любая неизвестная тебе ссылка, а у меня вроде только мои страницы в индексе, не знаю как указать поисковикам что бы брали только каноникал

 

Эксперементировать , посмотреть чужие роботы. И дождаться апа. Тог7да будет ясно бот выплюнул или оставил ссылку. У меня до сих пор кажется висят мертвые ссылки, а прошло уже 2 апа. платоны говорят, что бот со временем удалит их.

 

достаточно просто в дизалоу один /?wpmp_switcher=* а не как у тебя сейчас.

Главное в панели вебмастера проверь, загружен ли роботс и какие части сайта запрещены к индексации.

 

Именно так и папки с комментами, хотя я структуру WP плохо знаю, не люблю бесплатные движки.

 

Вроде разобрался, и выродил вот это:

HTML:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /category/
Disallow: /archive/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?feed=*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /galery/
Disallow: *?wpmp_switcher=*
Disallow: */comment-page-*/
Host: domen.ru
Sitemap: http://domen.ru/sitemap.xml

Пошел кормить удалялку яшину (в нос им дышло)

P.S.: Надо ли для яши прописывать отдельную секцию директив в роботсе?

 

Да лучше прописать.

 

Вижу ТС уже разобрался, но на будущее, вдруг кому пригодится — .