Правильный robots.txt для dle и vbulletin

Есть сайт. В корне сайта лежит движок Dle и папка форум, в папке форум находится сам форум. Форум на vBulletin.

Скажите, какие папки и файлы нужно закрывать(папки, файлы ...) от поисковиков в robot.txt в движках dle и vBulletin?

и доп вопрос по vBulletin

Где редактируется информация в верхней панеле ?

И еще вопрос.
Как сделать сайтмап для dle и vBulletin

 

может быть такое содержание

HTML:

User-agent:Yandex
Disallow:/cgi-bin/
Disallow:/clientscript/
Disallow:/includes/
Disallow:/cpstyles/
Disallow:/usercp.php
Disallow:/misc.php
Disallow:/online.php
Disallow:/report.php
Disallow:/postings.php
Disallow:/private.php
Disallow:/sendtofriend.php
Disallow:/register.php
Disallow:/printthread.php*
Disallow:/printthread.php?*
Disallow:/sendmessage.php?*
Disallow:/sendmessage.php*
Disallow:/showpost.php?*
Disallow:/showpost.php*
Disallow:/newthread.php
Disallow:/newreply.php
Disallow:/editpost.php
Disallow:/warn.php
Disallow:/memberlist.php
Disallow:/member.php



User-agent:*
Disallow:/cgi-bin/
Disallow:/clientscript/
Disallow:/includes/
Disallow:/cpstyles/
Disallow:/usercp.php
Disallow:/misc.php
Disallow:/online.php
Disallow:/report.php
Disallow:/postings.php
Disallow:/private.php
Disallow:/sendtofriend.php
Disallow:/register.php
Disallow:/printthread.php*
Disallow:/printthread.php?*
Disallow:/sendmessage.php?*
Disallow:/sendmessage.php*
Disallow:/showpost.php?*
Disallow:/showpost.php*
Disallow:/newthread.php
Disallow:/newreply.php
Disallow:/editpost.php
Disallow:/warn.php
Disallow:/memberlist.php
Disallow:/member.php


User-agent:Slurp
Crawl-delay:60

User-agent:YahooSeeker
Crawl-delay:60

 

А нужно ли закрывать доступ к папкам с шаблонами, юзерами, профилями юзеров и так далее?
Вот сейчас рассматриваю чужие робот тхт и смотрю у некоторых есть такие вот вещи :

HTML:

Disallow: /*.jar$
Disallow: /*.jad$
Disallow: /*.3gp$
Disallow: /*.mp4$

 

можно и это закрыть, но проще закрыть папку в которой они лежат.
Типа вот так

 

Disallow: /forum/archive/ зачем закрывать архив от ПС ?
Disallow: /forum/clientscript/ - это вообще не пойму что.
Disallow: /forum/cpstyles/ - это я так понимаю стили
Disallow: /forum/customavatars
Disallow: /forum/images/ - картинки зачем закрывать?
Disallow: /forum/includes/ - ну это понятно.
Disallow: /forum/ajax.php
Disallow: /forum/album.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php зачем календарь закрывать?

HTML:

Disallow: /forum/cron.php
Disallow: /forum/global.php
Disallow: /forum/group.php
Disallow: /forum/group_inlinemod.php
Disallow: /forum/groupsubscription.php
Disallow: /forum/image.php
Disallow: /forum/infraction.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/member_inlinemod.php
Disallow: /forum/memberlist.php
Disallow: /forum/moderation.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/payment_gateway.php
Disallow: /forum/payments.php
Disallow: /forum/picture.php
Disallow: /forum/picture_inlinemod.php
Disallow: /forum/picturecomment.php
Disallow: /forum/poll.php
Disallow: /forum/post_thanks.php
Disallow: /forum/posthistory.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/search_google.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/subscription.php
Disallow: /forum/subscriptions.php
Disallow: /forum/tags.php
Disallow: /forum/threadrate.php
Disallow: /forum/threadtag.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/vbam_advertisement.php
Disallow: /forum/vbseo.php
Disallow: /forum/vbseocp.php
Disallow: /forum/vbseocpform.php
Disallow: /forum/visitormessage.php

И вообще не могу понять смысла закрывания большей части файлов? Может кто нибудь объяснить?

 

Тебе дали уже как надо, не надо изобретать велосипед, архив закрывают при некоторых настройках воблы...

 

А с robots для с dle как быть?

HTML:

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts

вот нашел такой робот.тхт что можете сказать о нем?

Что касается выше упомянутого готового робота:
Disallow: /warn.php
у меня вообще отсутствует такой фаил на форуме.

 

Тебе уже сказали, если есть вобла ставь тот, что тебе дали.

 

А как проверить закрыт ли от индексации фаил или папка?

 

В яндекс веб мастере есть приблуда.

 

А robots.txt должен поисковик индексить или нет, сейчас смотрел один сайт который делаю так в выдаче гугла есть, а раньше не замечал.

 

ну у тебя и вопрос... он его сам находит...