Помощь Prestashop 1.6.0.9 робот яндекса

[pinskiy1700]

подскажите, какие строки внести в файл robots.txt чтобы роботы яндеса не блокировались. Робот яндекса обходит мой сайт, для размещения в маркете и не получает, часто, ответ от сайта. Как сделать чтобы робот яндекса не блокировалися и не закрывали мне размещение?
как прописать разрешение на доступ для роботов яндекса?
спасибо

 

[salbar]

подскажите, какие строки внести в файл robots.txt чтобы роботы яндеса не блокировались. Робот яндекса обходит мой сайт, для размещения в маркете и не получает, часто, ответ от сайта. Как сделать чтобы робот яндекса не блокировалися и не закрывали мне размещение?
как прописать разрешение на доступ для роботов яндекса?
спасибо

User-agent: Yandex

- это все роботы яндекса

User-agent: YandexMarket

- это робот Маркета

Allow: /

- после слеша пишем все что доступно роботу

 

[pinskiy1700]

- после слеша пишем все что доступно роботу

а что нужно написать, как будет выглядеть, чтобы роботы яндекса получили доступ?

 

[Zveruga76]

Робот яндекса обходит мой сайт, для размещения в маркете и не получает, часто, ответ от сайта.

А зачем он обходит сайт? Он же должен загружать только специальный файл с прайсом именно для маркета. Но если этот файл у вас формируется модулем динамически при обращении к нему, в каталоге много товаров и при этом слабый сервер, то иногда этот файл просто не успевает сформироваться и он получает ошибку от сервера.

 

[pinskiy1700]

в каталоге много товаров и при этом слабый сервер, то иногда этот файл просто не успевает сформироваться и он получает ошибку от сервера.

а что сделать чтобы сервер нормально отвечал?

 

[Zveruga76]

а что сделать чтобы сервер нормально отвечал?

Сначала вручную несколько раз проверьте полностью или нет отдается файл по той ссылке, которую вы скармливаете яндекс.маркету в админке маркета.

 

[pinskiy1700]

по ссылке нормально открывается

 

[Zveruga76]

по ссылке нормально открывается

у вас есть доступ к access_log ? посмотрите логи за тот день, когда яндекс ругается на недоступность прайса. и посмотреть какую ошибку выдавал сервера на то обращение. после обнаружения ошибки надо будет посмотреть error_log и посмотреть какая ошибка была со стороны PHP. возможно превышение max_execution_time если каталог очень большой. да что угодно может быть, главное поэтапно выяснять причину ошибку.