1. Начата процедура восстановления социальных групп. Лидерам старых и новых групп обязательно ознакомиться с регламентом проведения работ.

Cron или не крон использовать при серверном парсинге?

Тема в разделе 'Как сделать...', создана пользователем TopReseller, 5 фев 2012.

  1. +1 в php.ini задать max_execution_time, или через htaccess, а помне если парсить идиноразово, а не постоянно, denwer на локальном компе поднимаете, ставите max_execution_time побольше и хоть обпарситесь!
    TopReseller нравится это.
  2. нужно постоянно парсить новости на сайт, денвер не подходит
  3. Viodele Механик

    Administrator
    Для начала я бы советовал программисту запустить phpinfo и посмотреть исключения. Если среди исключений нет команды set_time_limit(), то ее смело можно использовать в коде. Не знаю, что у Вас за хостинг такой, но я set_time_limit() когда-то использовал даже на задрыпаном byethost.
    TopReseller нравится это.
  4. говнохостинг небось за 5 баксов с минимумом функций) Хотя если можно работать с граббером, то в этом я совнемаюсь.

    Пробуйте ставить set_time_limit(0) либо set_time_limit(99999) (первое часто блокируется). Если же есть ограничения, либо их нету, самому запускать скрипт - не особо хорошо - рано или поздно надоест. Так что крон, можно так же использовать бесплатный web cron - к примеру http://webcron.org/
    Viodele и TopReseller нравится это.
  5. Огромное спасибо всем за помощь и советы, проблема решена.
  6. есть еще сторонние ресурсы для запуска скриптов по расписанию: http://cronjob.ru/
    TopReseller нравится это.
  7. Тогда решение такое:
    1. Создаете БД со списком урлов, в нем поле isParse 0 - не парсили, 1 - отпарсили
    2. Скрипт пишете который по крону запускается: 1. запрос к БД, с лимитом 1 или 2, парсинг, потом флаг в 1 устанавливаете
    3. Проверка в скрипте что если все в 1, опять сброс и по новому, помойму крон можно с переодичность 30 сек запускать, вот и смотрите, 200 урло по 30 сек = 6000 сек, примерно 2 часа, и все страницы спарсятся!