[Архив] Lynx parser

Статус
В этой теме нельзя размещать новые ответы.
у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?
 
у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?
Месяц назад МСН парсил нормально. Насчет бана гугла, прокси точно рабочие и анонимные? Половина чекеров transparent прокси пишет как анонимные. Попробуй прокси прогони через спамит. У меня лучше всего парсил именно через прокси после спамита.
Есть еще вариант, влезть в код и после запроса к гуглу или перед ним добавить sleep на секунд 5-10, работает дольше, но и бана меньше.
 
хороший парсер неплохо работает а по поводу прокси видать они у тебя действительно не совсем анонимные или просто из паблика (пер****ены нахрен) у мну на приватном прокси листе все прекрастно работает
 
у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?
парсю без проксей. только задержка 10 стоит. Всё ок.
у меня была похожая проблема, когда я выставлял широкий диапазон запросов (все языки и зоны и буквы). Процессы вообще не запускались. В последствии оказалось, что это не обязательно. Парсит хорошо и гугль, и мсн.
Только результаты не показывает в админке. Но они в папке pars/google/
 
2 файла получились больше 10 метров. не показывает в результатах :)
Видать не предусмотрен он к таким испытаниям :)
Ну ничего. главное, что работает хорошо. Спасибо за расшифрованую версию. :)
 
Не работает злыдень.... Показывает на денвере
Count of urls: 524160


SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
SHOW Для просмотра ссылки Войди или Зарегистрируйся -------------------> 52416 urls
И на этом все.....
Н
а фествдс и этого не показывает... в логах появляются 0 длины... В папке парс -чисто. Никто не в курсе в чем засада?
 
у меня гугля дальше 2 страницы не парсит, несмотря на кучу рабочих проксей....гугл банит ... никто не сталкивался?
да и еще, у кого мсн парсит?

таймауты обычно помогают. а что до проксей, так если ведь паблик, то следует помнить, что вы не одни, такие умные с парсерами на свете :)
private proxy+timeouts = ok
 
На фествдс и этого не показывает... в логах появляются 0 длины... В папке парс -чисто. Никто не в курсе в чем засада?
Ну его **х фест-вдс.
Я запустил на Разгоне, 20 часов и месячному трафику хана.
 
Парсер хороший , только мусора много нагребает, а так в целом весчь незаменимая в нашем тяжком деле:)
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху