Скрыть объявление
Здравствуйте Гость! Не нашли ответа на свой вопрос? Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества и задайте свой вопрос! Вам обязательно помогут!

Где брать текст для дорвея?

Тема в разделе "Сайтостроение, настройка и технические вопросы", создана пользователем Vasiaka, 22 сен 2017.

  1. itasw

    itasw Пользователь

    Сообщения:
    6.655
    Симпатии:
    0
    Ок, тогда все норм.
     

  2. Vasiaka

    Vasiaka Пользователь

    Сообщения:
    14.478
    Симпатии:
    0
    Не велика ли честь для дорвеев еще и с вконтакта парсить? Один фиг все намешается. Скачать книги, почистить один раз и забыть про поиск контента.


    Так и должно быть. Мне как-то день делать нефиг было и я начистил себе больше трех гигов. Хоть продавай
     
  3. itasw

    itasw Пользователь

    Сообщения:
    6.655
    Симпатии:
    0
    Больше всего времени у меня заняло 'склеивание' всех файлов. Было около 2000 файлов *.txt и общий вес ~ 1Г. На выходе получил 400M.
    И еще долго чистится конечно, кусками по 100М закидывал. Думаю можно и по больше, правда попробовал кинуть файл на 1Г. php не потянул. Может правда из-за того что дал ему 1Г. оперативы только. Сейчас попробую дать 2Г. может потянет
     
  4. itasw

    itasw Пользователь

    Сообщения:
    6.655
    Симпатии:
    0
    C 2Г memory_limit тоже не катит.
     
  5. Vasiaka

    Vasiaka Пользователь

    Сообщения:
    14.478
    Симпатии:
    0
    У меня 3 гига оперативы. Как не увеличивал в настройках размер, но больше 150 метров скармливать не удавалось.

    Сидишь, кеношки смотришь, время от времени новые файлы закидываешь)
     
  6. rafa

    rafa Пользователь

    Сообщения:
    46
    Симпатии:
    0
    Установи себе TextPipePro, очень быстро делает вышеупомянутые задачи
    P.S ничего лучше для работы с текстом не видел
     
  7. bashtraffic

    bashtraffic Пользователь

    Сообщения:
    260
    Симпатии:
    0
    TextPipePro - подтверждаю Искандер упоминал про нее! При мозговитом подходе заменяет СДЛ,дорген ))) Но не цербер(постер).Шустро работает переваривает тексты как вы скажите )
     
  8. misterik445

    misterik445 Пользователь

    Сообщения:
    212
    Симпатии:
    0
    ччерд, только 20 файлов можно сконвертировать, хотя я сконвертил 956, но мало этого, а больше не конвертит...серийника тоже нигде не найти, может есть похожие проги? сам ищу сейчас в гугле но пока не нашел ничего подобного

    Во, вроде нашел прогу нормальную, только что 2к файлов сконвертил.
    кому нужно будет держите
     
  9. barbakan

    barbakan Пользователь

    Сообщения:
    1.158
    Симпатии:
    0
    О нужная прога, у меня на винте дохира doc книжек валятся.
     
  10. Roma

    Roma Пользователь

    Сообщения:
    235
    Симпатии:
    0
    кто нибудь юзает сниппеты вместо текстовки? Ну например спарсил кеев, и тут же сниппетов по ним наделал, получается тематический текст, причем уже с ключами нужными...
     
  11. sergeevich

    sergeevich Пользователь

    Сообщения:
    1.998
    Симпатии:
    0
    а смысл так делать? если дорген сам делает текст оптиизированый под кей)) ну я не пробовал снипеты юзать...
     
  12. wapten

    wapten Пользователь

    Сообщения:
    3.268
    Симпатии:
    0
    Он конвертирует только если текст в pdf а из фоток текст неташит

    вот это прога ABBYY PDF Transformer 3.0 и фотки сохраняет если надо, и сам текст из любого pdf вытащит в Торрентах есть крякнутый
     
  13. dotMX

    dotMX Пользователь

    Сообщения:
    193
    Симпатии:
    0
    Сниппеты почти всегда имеют кейворд в правильном падеже + более-менее осознанный текст.
     
  14. barbakan

    barbakan Пользователь

    Сообщения:
    1.158
    Симпатии:
    0
    ага если этот сниппет не от дора))
     
  15. Semka

    Semka Пользователь

    Сообщения:
    19.457
    Симпатии:
    0
    Где я беру тексты...

    KD идеальный инструмент для дорвейщика, тексты парсятся и не надо сдирать книги, самые ценные это тематические тексты, а это именно статьи с сайтов)
    Думайте, KD афигенная программа, не реклама так как я её покупал у автора.
     
  16. xoyaswq

    xoyaswq Пользователь

    Сообщения:
    1.952
    Симпатии:
    0
    чё за KD?ContentDownloader?
     
  17. wapten

    wapten Пользователь

    Сообщения:
    3.268
    Симпатии:
    0
    Конвертер сразу папку сьедает
     
  18. flax

    flax Пользователь

    Сообщения:
    1.565
    Симпатии:
    0
    это о чем?
     
  19. barbakan

    barbakan Пользователь

    Сообщения:
    1.158
    Симпатии:
    0
    о конвертации fb2 в txt , прога конвертит сразу все из указанной папки как я понял а не по одному файлу.
    Пользовался Fb2Any она тоже папку запросто .
     
  20. itasw

    itasw Пользователь

    Сообщения:
    6.655
    Симпатии:
    0
    Качаю, буду пробовать, о результатах отпишусь завтра.

    PS кряк не 'подгоните'?
     
Черновик сохранён Черновик удалён
Загрузка...