В файле robots.txt левые ссылки

Тема в разделе "CMS - Системы Управления Контентом", создана пользователем DMax, 17 фев 2017.

  1. AlishaTur

    AlishaTur Создатель

    Регистр.:
    16 окт 2017
    Сообщения:
    14
    Симпатии:
    0
    А где еще искать левые ссылки кроме файла robots? В стилях тоже могут быть прописаны?
     
  2. 1click

    1click Постоялец

    Регистр.:
    7 мар 2015
    Сообщения:
    94
    Симпатии:
    68
    Ссылки могут быть зашиты где угодно в первую очередь нужно смотреть header.php, footer.php, в css тоже, как вариант это могут быть ссылки на картинку прописанные с полным путем к другому сайту... это тоже не очень хорошо.
     
  3. serjik77

    serjik77 Создатель

    Регистр.:
    21 май 2011
    Сообщения:
    44
    Симпатии:
    4
    посмотрите плиз если кто разбирается, нет ли ничего лишнего в моем роботсе? чтот на него айболит при проверке все время ругается, а что в нем не так не показывает:

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /bin/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /component/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /layouts/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /bsgruyv/
    Disallow: /deymj3h/
    Disallow: /jxdzfcii/
    Disallow: /qlshc/
    Disallow: /obzory/
    Disallow: /qxeun/
    Disallow: /qlshc/
    Disallow: /.well-known/
    Disallow: /blog/
    Disallow: /wp-admin/
    Disallow: /wp-content/
    Disallow: /wordpress/
    Disallow: /magmi/
    Disallow: /index.php*
    Disallow: /index2.php*
    Disallow: /*com_mailto #форма отправки писем
    Disallow: /*pop= #всплывающие окна
    Disallow: /*lang=ru #языковую версию
    Disallow: /*format= #форматы
    Disallow: /*print= #ссылка вывода на печать
    Disallow: /*task=vote #голосования
    Disallow: /*=watermark #водяные знаки
    Disallow: /*=download #Ссылки на скачивание
    Disallow: /*user/ #пользователи
    Disallow: /404 #закрываем 404 ошибку
    Disallow: /index.php? #урлы с параметрами
    Disallow: /*? #урлы с вопросами
    Disallow: /*% #урлы с процентами
    Disallow: /*& #урлы со знаком &
    Disallow: /index2.php #дубли
    Disallow: /index.php #дубли
    Disallow: /*tag #облако тегов
    Disallow: /*.pdf #ПДФ файлы, на усмотрение
    Disallow: /*.swf #Flash, на усмотрению
    Disallow: /*=atom #RSS
    Disallow: /*=rss #RSS
    Allow: /images/ #открываем картинки
    Allow: /index.php?option=com_xmap&sitemap=1&view=xml #открываем карту сайта
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml
    Clean-param: searchword /
    Crawl-delay: 5
     
  4. gun

    gun Постоялец

    Регистр.:
    26 апр 2013
    Сообщения:
    52
    Симпатии:
    12
    Allow: /images/ #открываем картинки
    Allow: /index.php?option=com_xmap&sitemap=1&view=xml #открываем карту сайта
    Должны идти после User-agent: Yandex но перед Disallow: /administrator/
    Еще лучше поудаляй комментарии, вроде этого: #дубли
    Еще например, эта запись Disallow: /index.php* дублируется этой Disallow: /index.php? и этой записью дублируется Disallow: /index.php #дубли
    Такую запись Disallow: /*=rss я бы лучше написал так Disallow: /*rss*