- Автор темы
- #1
Чем разодрать текст на осмысленые фразы, его составляющие? Разобрать по словам - не проблема, текстпайп справляется "на ура", разобрать им на рандомные словосочетания - получается полный бред. Резать текст на предложения или на куски, ограниченые знаками препинания получается слишком проблемно, на выходе всеравно очень много текста получается.
На входе дается файл/пачка файлов, прога как то их обрабатывает (например ищет частоповторяющиеся сочетания) и на выходе делает список из 1 фразы в 1 строку, где хотябы бОльшая часть должна быть осмысленой.
Есть выход? Текста много, на самом деле много и руками не вариант вообще.
На входе дается файл/пачка файлов, прога как то их обрабатывает (например ищет частоповторяющиеся сочетания) и на выходе делает список из 1 фразы в 1 строку, где хотябы бОльшая часть должна быть осмысленой.
Есть выход? Текста много, на самом деле много и руками не вариант вообще.