Грабит с копиями

[MeN]

NewsGrabberJC грабит новости с сайта Для просмотра ссылки Войди или Зарегистрируйся с копиями, т.е. по две одинаковые новости...
кто-нибудь может подсказать нормальные настройки?

 

[mehanic]

Где-то тут вроде было. Хз что это. говорят, помогает снизить количество новостей за один проход + развести ленты на разное время граббинга. Типа сервер не справляется с нагрузкой.

 

[cat33]

Да, действительно грабит с некоторых (не со всех!) сайтов по два раза одну и ту же новость. Очень часто так-же грабит только новость и заголовок, а тела новости нет. После удаления этой новости из админки, и повторного запуска парсинга та же новость парсится нормально (полностью).
Разработчик скрипта предлагает развести время грабинга различных лент. Я так и поступил. В 10 лентах сделал интервал парсинга от 30 до 240 минут, время запуска automaticimport.php в кроне поставил 10 минут, однако по прежнему все ленты парсятся в одно и то-же время... соответственно вылазят неприятные симптомы описанные мной чуть выше в этом посте.

Вопрос:
У кого получилось разнести по времени парсинг лент? Приведите пример настройки.

 

[mehanic]

Вопрос:
У кого получилось разнести по времени парсинг лент? Приведите пример настройки.

У меня. Причем точь в точь как ты описал. Все нормально работает. Симптомы дублирования не наблюдаю. У меня, правда, навороченный арендуемый. Я там один.

 

[cat33]

Сколько лент в ньюсграббере, и какая скорость канала интернет?

 

[mehanic]

Около десяти. Канал шире некуда.

 

[softsp]

попробуйте уменьшить количество одновременно импортируемых лент в настройках ленты

 

[cat33]

попробуйте уменьшить количество одновременно импортируемых лент в настройках ленты

Ответ конечно хороший, но там такого параметра нет. Есть параметр в котором указывается время, через которое будет парситься лента...

 

[cat33]

Как известно, скрипт позволяет грабить до 15 новостей с сайта за 1 запуск парсинга. Так вот, обратил внимание, что дубли бывают на тех лентах, где этот параметр выставлен по максимуму (15). У меня, на тех лентах где стоит парсить по 5 новостей, дублей нет!

Вообщем буду играть с настройками далее... о результатах отпишусь позже.

 

[cheluskin]

У меня и на трёх новостях дубли , но почемуто только на лентах rbc