[Архив] Multi Search Parser III

Статус
В этой теме нельзя размещать новые ответы.

Sunford

Постоялец
Регистрация
21 Ноя 2006
Сообщения
121
Реакции
11
Кто юзал Multi Search Parser II поделитесь впечатлениями? у меня там опции по работе с базами не работают, а так все гуд. И еще видел Multi Search Parser III (скачать не хватает постов) че там есть нового ?
 
по моему это одно и тоже )))
судя по файлам )
 
Я вообще не понял, это что разные версии :eek: думал калиан ту же что и у меня выложил, ладно позже протестирую. А вообще хороший парсер, главное больше проксей и потоков не более 50 даже на выделленных серверах, и запросов тоже не особо много если вы даете 1 запрос и ставите парсить по всем зонам то это уже 244 запроса а если еще и по 29 основным языкам то 244*29 = 7076 запросов, плюс к этому допустим глубина 10, тогда 70760 стоко страниц надо отпарсить линксу по 100 в каждой и не забываете он каждую строчку запроса ложит в файл, который у некоторых ламеров я видел весит по 2 гига и сервер висит месяцами :D . Что хотел сказать етим что им очень легко повесить сервак, поэтому перед запуском оценивайте, а вообще на выделленом сервере за 10 минут 10к - 15к парсит без проблем.
 
Я вообще не понял, это что разные версии :eek: думал калиан ту же что и у меня выложил, ладно позже протестирую. А вообще хороший парсер, главное больше проксей и потоков не более 50 даже на выделленных серверах, и запросов тоже не особо много если вы даете 1 запрос и ставите парсить по всем зонам то это уже 244 запроса а если еще и по 29 основным языкам то 244*29 = 7076 запросов, плюс к этому допустим глубина 10, тогда 70760 стоко страниц надо отпарсить линксу по 100 в каждой и не забываете он каждую строчку запроса ложит в файл, который у некоторых ламеров я видел весит по 2 гига и сервер висит месяцами :D . Что хотел сказать етим что им очень легко повесить сервак, поэтому перед запуском оценивайте, а вообще на выделленом сервере за 10 минут 10к - 15к парсит без проблем.

это что у тебя такие за мудрёные настройки что он тебе всё хорошо ищет ? я сколько не пользовался им, сколько не редактировал запросы, парсит 70% хлама всё остальное нормальное, то что надо, потом на дубли сортируешь и получается из того, что он там собрал 50к, по ду***м выкидывает всё и остаётся 1к, при том, тчо я руками набираю базу больше и быстрее )))
 
это что у тебя такие за мудрёные настройки что он тебе всё хорошо ищет ? я сколько не пользовался им, сколько не редактировал запросы, парсит 70% хлама всё остальное нормальное, то что надо, потом на дубли сортируешь и получается из того, что он там собрал 50к, по ду***м выкидывает всё и остаётся 1к, при том, тчо я руками набираю базу больше и быстрее )))

Увы так и есть хлама много, если парсиш гугл, а с мсн у меня было конечно меньше ресурсов, парсил без прокси, но мусора почти небыло, весь мусор у меня был с гугла это порядка 90 % всего отпарсеного, но что тут говорить если с одного запроса вытягивал 100к конечно там всякого говна было, ну а что ты хотел, чем глубже роеш тем больше мусора, даже возьми GS парсер тоже хорошо парсит и по поддоменам, но естесно мусора много. Но лучше парсера чем линкс из серверных пока не встречал, хотя говорят, но сам не юзал.

PS Я не говорил что он у меня все хорошо ищет, читай внимательней ;)
 
я сколько не пользовался им, сколько не редактировал запросы, парсит 70% хлама всё остальное нормальное, то что надо, потом на дубли сортируешь и получается из того, что он там собрал 50к, по ду***м выкидывает всё и остаётся 1к, при том, тчо я руками набираю базу больше и быстрее )))
Ээээ, а как парсер может повлиять на количество мусора в выдаче гугла??? Кроме как показывать/не показывать omitted results...
Гугле верить нельзя: когда она говорит, что найдено документов: 4 тыщи, пролистай выдачу, она на третьей странице закончится ---0
Утрирую маленько, но все равно не любит гугля (да и многие другие поисковики выдавать полезные резалты на хитрые запросы) ;)
Кстати, гугл практически никогда не ставит две страницы с одного (саб)домена на одну страницу выдачи, но раскидать домен по разным страницам - всегда пожалуйста :eek:
Вот что парсер должен уметь делать, так это смотреть если в запросе есть inurl:, то проверять чтобы в урлах вытащенных с этого запроса был инурловый текст.
 
Ссылку на скрипт дайте, пожалуйста....
 
Ссылку на скрипт дайте, пожалуйста....
Марио. ты идиот совсем или притворяешься?! хватит набирать посты! поиск не судьба использовать?

P.S. он специально постит бессмысленные посты. Я ему отвечал в некоторых, но ноль реакции. достаточно посмотреть на посты и время ответа.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху