Скрыть объявление
Здравствуйте Гость! Не нашли ответа на свой вопрос? Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества и задайте свой вопрос! Вам обязательно помогут!

Правильный файл robots.txt для сайта на wordpress

Тема в разделе "Сайтостроение, настройка и технические вопросы", создана пользователем NURENBERG, 27 сен 2017.

  1. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    В поиске появляются мусорные страницы, то, что в моем robots написано, поисковики игнорируют. Подскажите правильный и актуальный файл robots.txt для wordpress, чтобы он был оптимальным для поисковиков Яндекс и Google, буду благодарен.
     

  2. maxmaster

    maxmaster Пользователь

    Сообщения:
    1.429
    Симпатии:
    0
    Для WP неплохим вариантом может служить такой Robots.txt

    HTML:
    User-agent:Yandex
    
    Disallow:/wp-admin
    Disallow:/wp-includes
    Disallow:/wp-content/cache
    Disallow:/wp-content/uploads
    Disallow:/wp-content/plugins
    Disallow:/wp-content/themes
    Disallow:/comments
    Disallow:*/comments
    Disallow:/xmlrpc.php
    Disallow:/tag
    Disallow:/category/*/*
    Disallow:*/trackback
    Disallow:/feed
    Disallow:*/feed
    Disallow:/trackback
    Disallow:*/trackback
    Disallow:/*?
    Disallow:/*?*
    Disallow:/xmlrpc.php
    Host:domen.ru
    Sitemap:http://ваш_сайт/sitemap.xml
    
    User-agent:*
    
    Disallow:/wp-admin
    Disallow:/wp-includes
    Disallow:/wp-content/cache
    Disallow:/wp-content/uploads
    Disallow:/wp-content/plugins
    Disallow:/wp-content/themes
    Disallow:/comments
    Disallow:*/comments
    Disallow:/xmlrpc.php
    Disallow:/tag
    Disallow:/category/*/*
    Disallow:*/trackback
    Disallow:/feed
    Disallow:*/feed
    Disallow:/trackback
    Disallow:*/trackback
    Disallow:/*?
    Disallow:/*?*
    Disallow:/xmlrpc.php
    Sitemap:http://ваш_сайт/sitemap.xml
     
  3. Vasiaka

    Vasiaka Пользователь

    Сообщения:
    14.478
    Симпатии:
    0
    Ты бы скинул, что лезет левого и нынешний роботс.
     
  4. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    в базе посмотри, и тебя ни кто случаем не ломанул?)
    Странное дело, домен на паркинге, ты откуда качал WP или шаблон признавайся.
    ССылку кидай сюда на свой домен, чуйствую подцепил ты гавнеца или шаблончик у тебя особенный.
     
  5. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    А заливал WP и шаблон я откуда придется

    И еще кажется у меня с 404 какие-то проблемы

    Но сам я чайник полный увы
     
  6. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    Можно взять для примера вот эти две ссылки:


    Код HTML:
    http://www.utug.tv/2009/09/kogda-na-rusi-bylo/comment-page-1/?replytocom=68
    http://www.utug.tv/2009/09/kogda-na-rusi-bylo/?replytocom=68

    Они рабочие обе.

    А скрипт первый это я ставил для регистрации в том каталоге (есть еще элементы кода с других каталогов и рейтингов. Я ставил сам.)

    А второй - это элемент плагина WP для работы с картинками видимо. Плагин проверенный (NextGeEN Gallery).

    И вот совсем беда - недавно ставил плагин для отображения сайта на моб. девайсах - появилась вообще вот такая хрень в яше (и гугеле):


    Код HTML:
    www.utug.tv/?wpmp_switcher=mobile
    http://www.utug.tv/2010/04/industrialisation-in-the-ussr/?wpmp_switcher=desktop
    ttp://www.utug.tv/2010/04/industrialisation-in-the-ussr/?wpmp_switcher=mobilewpmp_tp=1

    Плагин удалил А СТРАНИЦЫ ПО АДРЕСАМ ЭТИМ ВСЕ РАВНО ОТКРЫВАЮТСЯ:eek:
    И как все это изгонять ума не приложу (((
    А роботс мой вот:


    Код HTML:
    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag/
    Disallow: /category/
    Disallow: /archive/
    Disallow: /page/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: /?feed=
    Disallow: /?s=
    Disallow: /?p=
    Disallow: /galery/
    Disallow: /?wpmp_switcher=mobile
    Disallow: /?wpmp_switcher=desktop
    Disallow: /?wpmp_switcher=
    Host: www.utug.tv
    Sitemap: http://www.utug.tv/sitemap.xml

    Эти три строки:


    Код HTML:
    Disallow: /?wpmp_switcher=mobile
    Disallow: /?wpmp_switcher=desktop
    Disallow: /?wpmp_switcher=

    Являются продуктом моей злобы и доказательством моего бессилия и некомпетентности. На них внимания можно не обращать (как это сделал робот яндекса собака)
     
  7. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    Так ты погоди немного, он их не сразу удалит)
     
  8. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    Дело в том что я пытался вводить их в удалялку вебмастера яши, - отказывают - пишут что все с ними в порядке. (грешу на настройки 404)

    А страницы комментов (/comment-page-1/) как с самого начала попали в индекс так только новые добавляются.

    А обязательно в роботсе для яши отдельно все директивы прописывать?
     
  9. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    что то я вобще уже запутался... зачем тебе всё это....
     
  10. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    Я хочу что бы в индексах были только адреса статей, морды, статических страниц и может быть комментов.

    Самое интересное что на том же хосте тоже на WP мой другой сайт с теми же настройками сео плагинов и роботса имеет индексацию о которой я мечтаю на Утюге.

    Но на Утюге при одинаковых настройках яша например комменты хавает а на Спойлкете нет.
    Почему - не понимаю.
     
  11. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    Не ошибаешься.
    Так запрети вот эти страниц
    ?wpmp_switcher=
    и эту папку
    /comment-page-1/
    /comment-page-2/ и т.д.
    Потом зайди в яндекс веб мастер, проверь запрет индексации страниц


    Если покажет запрет индексации, то подожди пару апов, выкинет их из индекса.
    Только сейчас точно понял, что тебе надо было.
    404 тут вобще не причём.
     
  12. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    Я, увы, не умею программировать файл роботс. Я все это запрещал по всякому. Такое ощущение что яша плюет на этот файл. Парадокс в том, что на втором сайте у меня ТОЧНО ТАКОЙ ЖЕ ФАЙЛ (копировал через буф. обмена) - но там все директивы выполнены идеально ()

    Если на Форуме найдется вебмастер, который поможет мне решить проблему с настройками роботса, готов заплатить 500 wmr или типа того..
     
  13. Werewolf

    Werewolf Пользователь

    Сообщения:
    34
    Симпатии:
    0
    1) Яша убирает ссылки в течении 2-3 апов, а ап бывает раз в месяц.
    2) Левые ссылки скорее всего сидят в самом движке. Качать нужно с офф сайтов. ВП тем более бесплатный так что найти офф сайт не составит труда.
    3) Шаблон нужно просматривать полностью и не только код внешних страниц но и сами файлы пхп.
    Я на дле столкнулся с таким и на вобле. Но в вобле разораться сложновато, так что пока не трогаю воблу. А движок длее я просто снес и достал офф версию и пока использую временные ключи.
    Сейчас ссылки делают зашифрованным кодом в самом движке. На шаблонах уже школьниги вычищать научились. А вообще лучше всего купите шаблон.
     
  14. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    Но это не левые ссылки, это элементы генерации страниц они есть в любом WP продукте, другое дело что не понятно как запретить элементы от индексации.

    Я так понимаю что левые ссылки это когда с твоего сайта ведет любая неизвестная тебе ссылка, а у меня вроде только мои страницы в индексе, не знаю как указать поисковикам что бы брали только каноникал
     
  15. Werewolf

    Werewolf Пользователь

    Сообщения:
    34
    Симпатии:
    0
    Эксперементировать , посмотреть чужие роботы. И дождаться апа. Тог7да будет ясно бот выплюнул или оставил ссылку. У меня до сих пор кажется висят мертвые ссылки, а прошло уже 2 апа. платоны говорят, что бот со временем удалит их.
     
  16. Vasiaka

    Vasiaka Пользователь

    Сообщения:
    14.478
    Симпатии:
    0
    достаточно просто в дизалоу один /?wpmp_switcher=* а не как у тебя сейчас.

    Главное в панели вебмастера проверь, загружен ли роботс и какие части сайта запрещены к индексации.
     
  17. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    Именно так и папки с комментами, хотя я структуру WP плохо знаю, не люблю бесплатные движки.
     
  18. NURENBERG

    NURENBERG Пользователь

    Сообщения:
    113
    Симпатии:
    0
    Вроде разобрался, и выродил вот это:

    HTML:
    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag/
    Disallow: /category/
    Disallow: /archive/
    Disallow: /page/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: /?feed=*
    Disallow: /?s=*
    Disallow: /?p=*
    Disallow: /galery/
    Disallow: *?wpmp_switcher=*
    Disallow: */comment-page-*/
    Host: domen.ru
    Sitemap: http://domen.ru/sitemap.xml
    Пошел кормить удалялку яшину (в нос им дышло)

    P.S.: Надо ли для яши прописывать отдельную секцию директив в роботсе?
     
  19. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    Да лучше прописать.
     
  20. converse

    converse Пользователь

    Сообщения:
    2.077
    Симпатии:
    0
    Вижу ТС уже разобрался, но на будущее, вдруг кому пригодится — .
     
Черновик сохранён Черновик удалён
Загрузка...