Закрыть сайт от индексации

b10antoxa

Полезный
Регистрация
6 Ноя 2014
Сообщения
154
Реакции
17
Добрый день. Пытаюсь закрыть сайт Опенсарт от индексации сделал много
robots.txt:
User-agent: *
Disallow: /
и раскидал по всем папкам, начиная с корня и заканчиваю подпапками.
При вводе ключевых слов - яндекс, гугл находят мой сайт без проблем(, и под наименованием выдают тексты, размещенные на сайте.
Как можно полностью закрыться от индексирования, подскажите пожалуйста.
 
User-agent: *
Disallow: /

В корне 1 раз разместить и всё. После переиндексации сайта страницы вылетят из индекса. В гугле можно запрос на удаление послать, но в этом случае добавить снова в индекс сможете только через 3 месяца.
 
Как можно полностью закрыться от индексирования, подскажите пожалуйста.
Роботс не поможет (он то закрывает страницы, но не до конца - они будут и дальше индексироваться).
Единственный вменяемый метод - добавить как-можно выше в head метатег <meta name="robots" content="noindex, nofollow">...
 
Роботс это аналог что при посещении каждой ссылки бот будет получать 404 ошибку. Для ускорения сюда урлы ещё добавить: Для просмотра ссылки Войди или Зарегистрируйся

Вообще я сколько при создании сайта кидал в корень, запрет в роботсе - никогда не индексирвался. А если нужна полная надёжность, просто доступ к сайту на пароль закрываю.
 
Роботс это аналог что при посещении каждой ссылки бот будет получать 404 ошибку.
1) Так ведь человек не хочет, что б робот видел 404 ошибку. Кстати откуда вообще взята информация о такой аналогии?
2) Видать вы не так часто работали с robots.txt , что вам не попадалась в выдаче "закрытая в robots от индексации" страница с дескрипшином "A description for this result is not available because of this site's robots.txt". Другими словами - страница проиндексорована, но описание закрыто в robots.txt

Robots.txt - это скорее рекомендации к действию, а не свод правил, которые робот должен выполнять. А вот если сразу после <head> всунуть <meta name="robots" content="noindex, nofollow"> - это уже для роботов будет правило, которое они обязаны выполнить.
 
Он хочет не от индексирвоания закрыться, а чтобы ПС сниппеты с его текстами в выдаче не выдавало. В этом случае да, можно и как вы предлагаете сделать. Но мне и обычный роботс помогал, со временем в выдаче только урл остаётся.
 
Хотя странное у вас желания, другие делают все что бы попасть в выдачу и легко находиться по ключевикам, а вы наоборот.
Дело в том, что сайт еще только в разработке, а уже висит в топе по ключевым словам( со всеми ошибками и проблемами
User-agent: *
Disallow: /
В корне 1 раз разместить и всё.
Так не только в корне, но и по всем подпапкам лежит, на всякий случай
Роботс не поможет (он то закрывает страницы, но не до конца - они будут и дальше индексироваться).
Единственный вменяемый метод - добавить как-можно выше в head метатег <meta name="robots" content="noindex, nofollow">...
Спасибо, сейчас попробую сделать. А результаты когда увижу)? при следующей переиндексации через месяц))?
 
Дело в том, что сайт еще только в разработке, а уже висит в топе по ключевым словам( со всеми ошибками и проблемами

Тогда нужно исправить быстро ошибки (хотя бы до минимально приемлемого варианта) и оставаться в выдаче по запросам )

Хотя если сайт с ошибками и проблемами в топе по ключевикам, я могу только догадываться что же это за ключевики )))

А вообще нужно смотреть на посещаемость, если у она низкая, то делайте сайт и не заморачивайтесь, раз уже страницы проиндексированы. Доделать сайт в разы быстрее будет чем ждать пока ПС переиндексирует страницы ;)
 
понял, наверно так и сделаю, Спасибо всем за помощь.

А что с ключевиками может быть не так?=)
 
Последнее редактирование:
А если в .htaccess'е прописать правило 410 для всех страниц сайта?
 
Назад
Сверху