S
sumo
Прохожие
- Автор темы
- #1
собственно
серверный многопоточный парсер поисковых систем “Аура” для промышленного сбора результатов выдачи Google, Yahoo и Live!
Функциональные характеристики:
* парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц
* многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока
* прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси
* вращение выдачи - буквы, цифры, дополнительные запросы
* принудительная задержка потоков (для парсинга без прокси)
* postmortem-механизм - продолжение парсинга после ребута/выключения сервера
* развернутая статистика по потокам во время парсинга
* возможность скачивания результатов парсинга в zip-архиве
серверный многопоточный парсер поисковых систем “Аура” для промышленного сбора результатов выдачи Google, Yahoo и Live!
Функциональные характеристики:
* парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц
* многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока
* прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси
* вращение выдачи - буквы, цифры, дополнительные запросы
* принудительная задержка потоков (для парсинга без прокси)
* postmortem-механизм - продолжение парсинга после ребута/выключения сервера
* развернутая статистика по потокам во время парсинга
* возможность скачивания результатов парсинга в zip-архиве