Где брать текст для дорвея?

Существует несколько путей добычи текстового контента для дорвеев. Разберем некоторые из них.

Текстовка из книг.

Самый простой и доступный каждому – книги. Идем на любой торрент трекер и вбиваем в поиск «библиотека fb2». Десятки гигабайт нам не нужны, но парочку мы скачаем. Книги должны быть именно в fb2 формате, который мы сконвертируем в txt простенькой бесплатной программой FB2toAny.

Полученные тексты объединяем в один файл и бьем на части по 100мбайт с помощью KWK Не качайте пятую верcию, она глючная.

Контент из книг необходимо очистить от разного рода не нужного нам мусора – знаков прямой речи и аббревиатур и прочего.

После обработки получается очищенный текстовый контент для дорвеев. Отлично лезет при мешанке случайными предложениями или стыковкой по запятым.

Парсинг тематического контента.

Для этой цели нам понадобится парсер контента. Я остановил свой выбор на UniParser
Мануал по нему писать не уду, все есть на блоге автора.

Спаршеный контент при необходимости также можно очистить упомянутым выше скриптом.

Генераторы контента.

Тут могу упомянуть лишь генератор zerber`а, который генерит морфологически правильный контент, а с версий выше 3.1.3 учитывает частотность слов в тексте и позволяет генерить контент любой тематики, основываясь на анализе скормленных ему текстов.

 

А яндекс не распознает что контент литературный, а не веб?

 

Так он очищается от всех признаков литературности. Да и не чищеный попадается часто в выдаче.

Лезет наура. За последние два апа больше 100 тыс паг влетело.

 

а с версий выше 3.1.3 учитывает частотность слов в тексте и позволяет генерить контент любой тематики

Можно здесь по-подробней, не нашёл в софте, тулзу скормить?

upd: кажется нашёл =), пшёл заводить мопед.

 

Версия с этим функционалом еще не вышла))) Будет в следующем апдейте. Вписал сразу, чтобы потом не править и не вписывать кучу но в отношение нынешнего цербера.

 

Уж было обрадовался.
Создал поддиректорию с txt файлами в папке zerber\Doorgen\Subjects\
Втематика текста - данная папочка появилась, а вот в результатах не заметно чо-то

 

Обрадуешься скоро, если спартанец с обновлением не затянет

 

Ещё можно брать текст(уник) с контакта, многие парсят/парсили обсуждение, всё это фигня, есть вот такие группы там текста мама не горюй, 100500 фанфивок по сумеркам, я раньше на сателиты растягивал)

 

По работе скрипта следующий вопрос: прогоняю им текстовку 114M на выходе получаю 40M. Не многовато ли режет ? Может стоить снять некоторые 'галочки' при для фильтрации?

 

конкурент мануала по дорвеям набирает обороты.... начало 2го сезона

 

да не, этот тред ему не конкурент

 

В среднем на 100.000 страниц доров сколько метров текста будет достаточно? При рандомных строчках.

 

смотря сколько текста на пагу.
если предложений 5, то пяти мегабайт будет достаточно, а если простыни на 3 экрана, то поболее требуется)

 

2-я часть уже не торт...

Если хочешь примерно точных цифр, смотри выдачу.
Выборка из 10-50-...-100500 доров даст тебе точный ответ.

 

ну а что делать? предыдущая растолстела слишком(

 

Да раньше и трава была зеленее, и иже с ней ... в 1-й части там все разрулили от и до.
1-Г текстовки - да нехрен баловаться соберешь за пару часов. Хватит на долго

 

народ, подскажите плз чем можно переконвертировать .doc в .txt? ну так чтобы 3200 файлов =)

 

режет конечно много, но все в пределах опций, так что никто не мешает накачать текста больше, чтобы и чищенного текста вышло тоже больше

 

Ну это понятно

 

Ты тест сам что ли пишешь?
Как говорил Великий Вождь:Лучше меньше, да лучше.