URL, закрытые для роботов

Ssendem

Хранитель порядка
Регистрация
28 Май 2010
Сообщения
418
Реакции
513
URL сайта или страницы:Для просмотра ссылки Войди или Зарегистрируйся
Вопрос: Сайт на Prestashop, заполнял все сам, описание к позициям тоже мои, фото тоже мои(из интернета не брал), многое ещё будет добавляться к внесенным товарам(видео, доп. характеристики), но не могу понять почему уже пару месяцев после запуска сайта одна и та же картина +/-:
Веб-страницы 186(Отправлено) 52(Проиндексированные)
Картинки 160(Отправлено) 4(Проиндексированные)
Предупреждений: 194(12 шт. URL, закрытые для роботов и 182 шт. Доступ к URL заблокирован в файле robots.txt)
Была ошибка самой Prestashop, при генерации robots.txt создалась запись:
# Files
Disallow: /*uk/
Disallow: /*ru/
я это дело удалил и проверил вручную через "Заблокированные URL" URL-адреса страниц и изображенийна что мне дан ответ:
Робот Google и Googlebot-Mobile - Разрешено, но при этом Заблокированные URL 380
 
Когда изменяли robots.txt? Возможно Google еще не успел переиндексировать сайт с новым robots.txt
 
т.е. Вы считаете, что все нормально?
Я считаю нормально, если все нужные страницы проиндексированы, а все ненужные отдают 404 ошибку или недоступны для ботов. А сколько там страниц всего недоступно, это уже дело ботов.
 
Назад
Сверху