Скрыть объявление
Здравствуйте Гость! Не нашли ответа на свой вопрос? Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества и задайте свой вопрос! Вам обязательно помогут!

Правильный robots.txt для dle и vbulletin

Тема в разделе "Сайтостроение, настройка и технические вопросы", создана пользователем Werewolf, 18 окт 2017.

  1. Werewolf

    Werewolf Пользователь

    Сообщения:
    34
    Симпатии:
    0
    Есть сайт. В корне сайта лежит движок Dle и папка форум, в папке форум находится сам форум. Форум на vBulletin.

    Скажите, какие папки и файлы нужно закрывать(папки, файлы ...) от поисковиков в robot.txt в движках dle и vBulletin?

    и доп вопрос по vBulletin

    Где редактируется информация в верхней панеле ?

    И еще вопрос.
    Как сделать сайтмап для dle и vBulletin
     

  2. maxmaster

    maxmaster Пользователь

    Сообщения:
    1.429
    Симпатии:
    0
    может быть такое содержание

    HTML:
    User-agent:Yandex
    Disallow:/cgi-bin/
    Disallow:/clientscript/
    Disallow:/includes/
    Disallow:/cpstyles/
    Disallow:/usercp.php
    Disallow:/misc.php
    Disallow:/online.php
    Disallow:/report.php
    Disallow:/postings.php
    Disallow:/private.php
    Disallow:/sendtofriend.php
    Disallow:/register.php
    Disallow:/printthread.php*
    Disallow:/printthread.php?*
    Disallow:/sendmessage.php?*
    Disallow:/sendmessage.php*
    Disallow:/showpost.php?*
    Disallow:/showpost.php*
    Disallow:/newthread.php
    Disallow:/newreply.php
    Disallow:/editpost.php
    Disallow:/warn.php
    Disallow:/memberlist.php
    Disallow:/member.php
    
    
    
    User-agent:*
    Disallow:/cgi-bin/
    Disallow:/clientscript/
    Disallow:/includes/
    Disallow:/cpstyles/
    Disallow:/usercp.php
    Disallow:/misc.php
    Disallow:/online.php
    Disallow:/report.php
    Disallow:/postings.php
    Disallow:/private.php
    Disallow:/sendtofriend.php
    Disallow:/register.php
    Disallow:/printthread.php*
    Disallow:/printthread.php?*
    Disallow:/sendmessage.php?*
    Disallow:/sendmessage.php*
    Disallow:/showpost.php?*
    Disallow:/showpost.php*
    Disallow:/newthread.php
    Disallow:/newreply.php
    Disallow:/editpost.php
    Disallow:/warn.php
    Disallow:/memberlist.php
    Disallow:/member.php
    
    
    User-agent:Slurp
    Crawl-delay:60
    
    User-agent:YahooSeeker
    Crawl-delay:60
    
     
  3. Werewolf

    Werewolf Пользователь

    Сообщения:
    34
    Симпатии:
    0
    А нужно ли закрывать доступ к папкам с шаблонами, юзерами, профилями юзеров и так далее?
    Вот сейчас рассматриваю чужие робот тхт и смотрю у некоторых есть такие вот вещи :
    HTML:
    Disallow: /*.jar$
    Disallow: /*.jad$
    Disallow: /*.3gp$
    Disallow: /*.mp4$
    
     
  4. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    можно и это закрыть, но проще закрыть папку в которой они лежат.
    Типа вот так
     
  5. Werewolf

    Werewolf Пользователь

    Сообщения:
    34
    Симпатии:
    0
    Disallow: /forum/archive/ зачем закрывать архив от ПС ?
    Disallow: /forum/clientscript/ - это вообще не пойму что.
    Disallow: /forum/cpstyles/ - это я так понимаю стили
    Disallow: /forum/customavatars
    Disallow: /forum/images/ - картинки зачем закрывать?
    Disallow: /forum/includes/ - ну это понятно.
    Disallow: /forum/ajax.php
    Disallow: /forum/album.php
    Disallow: /forum/attachment.php
    Disallow: /forum/calendar.php зачем календарь закрывать?
    HTML:
    Disallow: /forum/cron.php
    Disallow: /forum/global.php
    Disallow: /forum/group.php
    Disallow: /forum/group_inlinemod.php
    Disallow: /forum/groupsubscription.php
    Disallow: /forum/image.php
    Disallow: /forum/infraction.php
    Disallow: /forum/inlinemod.php
    Disallow: /forum/joinrequests.php
    Disallow: /forum/login.php
    Disallow: /forum/member.php
    Disallow: /forum/member_inlinemod.php
    Disallow: /forum/memberlist.php
    Disallow: /forum/moderation.php
    Disallow: /forum/moderator.php
    Disallow: /forum/newattachment.php
    Disallow: /forum/newreply.php
    Disallow: /forum/newthread.php
    Disallow: /forum/online.php
    Disallow: /forum/payment_gateway.php
    Disallow: /forum/payments.php
    Disallow: /forum/picture.php
    Disallow: /forum/picture_inlinemod.php
    Disallow: /forum/picturecomment.php
    Disallow: /forum/poll.php
    Disallow: /forum/post_thanks.php
    Disallow: /forum/posthistory.php
    Disallow: /forum/postings.php
    Disallow: /forum/printthread.php
    Disallow: /forum/private.php
    Disallow: /forum/profile.php
    Disallow: /forum/register.php
    Disallow: /forum/report.php
    Disallow: /forum/reputation.php
    Disallow: /forum/search.php
    Disallow: /forum/search_google.php
    Disallow: /forum/sendmessage.php
    Disallow: /forum/showgroups.php
    Disallow: /forum/subscription.php
    Disallow: /forum/subscriptions.php
    Disallow: /forum/tags.php
    Disallow: /forum/threadrate.php
    Disallow: /forum/threadtag.php
    Disallow: /forum/usercp.php
    Disallow: /forum/usernote.php
    Disallow: /forum/vbam_advertisement.php
    Disallow: /forum/vbseo.php
    Disallow: /forum/vbseocp.php
    Disallow: /forum/vbseocpform.php
    Disallow: /forum/visitormessage.php
    И вообще не могу понять смысла закрывания большей части файлов? Может кто нибудь объяснить?
     
  6. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    Тебе дали уже как надо, не надо изобретать велосипед, архив закрывают при некоторых настройках воблы...
     
  7. Werewolf

    Werewolf Пользователь

    Сообщения:
    34
    Симпатии:
    0
    А с robots для с dle как быть?

    HTML:
    User-agent: Yandex
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    вот нашел такой робот.тхт что можете сказать о нем?

    Что касается выше упомянутого готового робота:
    Disallow: /warn.php
    у меня вообще отсутствует такой фаил на форуме.
     
  8. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    Тебе уже сказали, если есть вобла ставь тот, что тебе дали.
     
  9. Werewolf

    Werewolf Пользователь

    Сообщения:
    34
    Симпатии:
    0
    А как проверить закрыт ли от индексации фаил или папка?
     
  10. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    В яндекс веб мастере есть приблуда.
     
  11. voron

    voron Пользователь

    Сообщения:
    190
    Симпатии:
    0
    А robots.txt должен поисковик индексить или нет, сейчас смотрел один сайт который делаю так в выдаче гугла есть, а раньше не замечал.
     
  12. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    ну у тебя и вопрос... он его сам находит...
     
Черновик сохранён Черновик удалён
Загрузка...