Массово создать карты сайтов для дорвеев

Привет всем.
Вопрос такой, начал делать доры на блого платформах, интересует как массово спарсить урлы сайтов. А1 сайтмап генератор вроде только по 1 сайту может парсить и список сайтов нельзя подгружать. Как можно массово создавать карты сайтов для дорвеев?

 

в каком формате карту хочеш?

Есть же дескопные проги

 

В конечном итоге мне нужны просто ссылки на страницы в список.
ссылка
ссылка....
Если знаете программы, то пожалуйста скидывайте. Такие, где мне не составит труда удалить лишние символы, чтобы прийти к желаемому виду тоже подойдут.

 

Content downloader'ом попробуй спарсить

 

?? . сам пользовался когда то

 

а при генерации вот как бы они создаются.
И карты и линки и прочее Г.
Это я так понял, что бы мы тут не скучали :?

 

Самый простой пример, блог на ли.ру, мне там кто-то выдает файлы с линками на статьи, которые я добавляю? если я сотнями их генерирую, то мне как-то все-таки нужно потом знать юрлы статей, чтобы закинуть их в индекс.

 

Тоже подумал об этом...но мож у ТС свой подход....смутило блогоплатформы.
мож там свои качели
Я хз короче.

 

Ну может я нет так выразился) я сленга особо не знаю) Имел ввиду доры на блогах, типо ли.ру, ливджорнала и т.д
И интересует конкретно МАССОВО, т.е. я дам программе/скрипту, список сайтов, а оно мне выдаст файл, где пусь и будут всякие лишние слова от карты.хмл, но я смогу это удалить и сделать список урлов.

 

парси сайты прогой и не парся короче...если канал хороший то быстро можно все сделать.+там вроде очередь есть или что то в этом роде.ставиш на поток и токмо ждеш.

 

Какую программу вы имеете ввиду? Если А1, то у меня такая версия где в 1 поток, 1 сайт и список добавить нельзя, хз, может есть и другие норма версии, я разные вроде качал, нормальных не видел.

 

Щас и не вспомню точно... но помню что было такое.

 

Короче пока ни одна программы не подошла под требования... Ключевое слово мв моем вопросе массовость

 

Вообще то блогплатформы и так довольно шустро шерстят боты пс. Если поспамить, можно одни морды.
Думаю можно как-то пристроить контент даунлоадер для этих целей, но это уже на конкретном примере нужно пробовать

 

жж сразу отпадает там роботс закрыт... только платные аки

 

Понятное дело не в них.... я для примера привел, чтобы было понятно.

 

не хочу кидать ссылки на свои доры там(хотя они и не рабочие, но всеравно...). По факту - да, там ставят блок на индексацию и это многие знают.... Если там нужно выдумывать непростые способы реги - это другое дело или старые акки не блочат например, это не важно. Вообще тема не об этом. Но раз уж на то пошло, хочу спросить у всех, кто прочитает народ.ру еще актуален в плане продажи? сам на нем делать не хочу... мне не нравится) а вот если они кому-то нужны и люди готовы платить, то могу нарегать.

 

ну а вообще какое может быть решение проблемы, чтобы парсить линки сайтов по списку, чтобы каждый раз самому в прогу/скрипт не вставлять адрес сайта? Что-то вроде создать скрипт, который будет использовать другие скрипты и т.д. и т.п? геморно, не знал, что таких прог не написали еще)