Скрыть объявление
Здравствуйте Гость! Не нашли ответа на свой вопрос? Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества и задайте свой вопрос! Вам обязательно помогут!

Массово создать карты сайтов для дорвеев

Тема в разделе "Сайтостроение, настройка и технические вопросы", создана пользователем danni, 17 окт 2017.

  1. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    Привет всем.
    Вопрос такой, начал делать доры на блого платформах, интересует как массово спарсить урлы сайтов. А1 сайтмап генератор вроде только по 1 сайту может парсить и список сайтов нельзя подгружать. Как можно массово создавать карты сайтов для дорвеев?
     

  2. Zlodey84

    Zlodey84 Пользователь

    Сообщения:
    1.395
    Симпатии:
    0
    в каком формате карту хочеш?

    Есть же дескопные проги
     
  3. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    В конечном итоге мне нужны просто ссылки на страницы в список.
    ссылка
    ссылка....
    Если знаете программы, то пожалуйста скидывайте. Такие, где мне не составит труда удалить лишние символы, чтобы прийти к желаемому виду тоже подойдут.
     
  4. warlog

    warlog Пользователь

    Сообщения:
    157
    Симпатии:
    0
    Content downloader'ом попробуй спарсить
     
  5. Zlodey84

    Zlodey84 Пользователь

    Сообщения:
    1.395
    Симпатии:
    0
    ?? . сам пользовался когда то
     
  6. itasw

    itasw Пользователь

    Сообщения:
    6.655
    Симпатии:
    0
    а при генерации вот как бы они создаются.
    И карты и линки и прочее Г.
    Это я так понял, что бы мы тут не скучали :?
     
  7. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    Самый простой пример, блог на ли.ру, мне там кто-то выдает файлы с линками на статьи, которые я добавляю? если я сотнями их генерирую, то мне как-то все-таки нужно потом знать юрлы статей, чтобы закинуть их в индекс.
     
  8. Zlodey84

    Zlodey84 Пользователь

    Сообщения:
    1.395
    Симпатии:
    0
    Тоже подумал об этом...но мож у ТС свой подход....смутило блогоплатформы.
    мож там свои качели
    Я хз короче.
     
  9. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    Ну может я нет так выразился) я сленга особо не знаю) Имел ввиду доры на блогах, типо ли.ру, ливджорнала и т.д
    И интересует конкретно МАССОВО, т.е. я дам программе/скрипту, список сайтов, а оно мне выдаст файл, где пусь и будут всякие лишние слова от карты.хмл, но я смогу это удалить и сделать список урлов.
     
  10. Zlodey84

    Zlodey84 Пользователь

    Сообщения:
    1.395
    Симпатии:
    0
    парси сайты прогой и не парся короче...если канал хороший то быстро можно все сделать.+там вроде очередь есть или что то в этом роде.ставиш на поток и токмо ждеш.
     
  11. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    Какую программу вы имеете ввиду? Если А1, то у меня такая версия где в 1 поток, 1 сайт и список добавить нельзя, хз, может есть и другие норма версии, я разные вроде качал, нормальных не видел.
     
  12. Zlodey84

    Zlodey84 Пользователь

    Сообщения:
    1.395
    Симпатии:
    0
    Щас и не вспомню точно... но помню что было такое.
     
  13. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    Короче пока ни одна программы не подошла под требования... Ключевое слово мв моем вопросе массовость
     
  14. itasw

    itasw Пользователь

    Сообщения:
    6.655
    Симпатии:
    0
    Вообще то блогплатформы и так довольно шустро шерстят боты пс. Если поспамить, можно одни морды.
    Думаю можно как-то пристроить контент даунлоадер для этих целей, но это уже на конкретном примере нужно пробовать
     
  15. byb4ik

    byb4ik Пользователь

    Сообщения:
    333
    Симпатии:
    0
    жж сразу отпадает там роботс закрыт... только платные аки
     
  16. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    Понятное дело не в них.... я для примера привел, чтобы было понятно.
     
  17. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    не хочу кидать ссылки на свои доры там(хотя они и не рабочие, но всеравно...). По факту - да, там ставят блок на индексацию и это многие знают.... Если там нужно выдумывать непростые способы реги - это другое дело или старые акки не блочат например, это не важно. Вообще тема не об этом. Но раз уж на то пошло, хочу спросить у всех, кто прочитает народ.ру еще актуален в плане продажи? сам на нем делать не хочу... мне не нравится) а вот если они кому-то нужны и люди готовы платить, то могу нарегать.
     
  18. danni

    danni Пользователь

    Сообщения:
    330
    Симпатии:
    0
    ну а вообще какое может быть решение проблемы, чтобы парсить линки сайтов по списку, чтобы каждый раз самому в прогу/скрипт не вставлять адрес сайта? Что-то вроде создать скрипт, который будет использовать другие скрипты и т.д. и т.п? геморно, не знал, что таких прог не написали еще)
     
Черновик сохранён Черновик удалён
Загрузка...