Информация Идеальный robots.txt для DLE

[steop4k]

Disallow: /*print - чистый контент дает дополнительно посетителей(вредно если реклама не видна)
Disallow: */rss.xml - интересно а часто вы попадайте из поисковика прямо на RSS ленту( по моему это бред)
Disallow: /tags/ - Тэги нужны для оптимизации, думайте за переполненной страницы внутренними ссылками вас забанят, страница просто в индекс не войдет если она не понравится поисковику, поисковик может пощетать что это карта сайта

ссылки запрещайте от индексации если там что то, что не понравится поисковику или страница дает ответ 404

 

[Lion18]

Обьясните мне, кто нибуть параметр Crawl-delay: 10 И какое число лучше всего указать?

 

[killoff]

Обьясните мне, кто нибуть параметр Crawl-delay: 10 И какое число лучше всего указать?

это время указанное в секундах призванное усмерить поисковых ботов, чтобы они не 1000 страниц просматривали в секунду, а одну страницу в 10 секунд... Делается это для того чтобы боты не перегружали сервак своими ботскими делами на сайте
кажется правильно описал

 

[Lion18]

killoff спасибо за хорошие описание.Какое времч посоветуете указать?

 

[killoff]

killoff спасибо за хорошие описание.Какое времч посоветуете указать?

у меня 10 стоит, да и все говорят что это нормальное значение...

 

[netw01f]

а скажите нужно ли ща дубрировать пункты Disallow: для Яндекса

прочитал, user если и надо закрывать но в начале создания сайта, а не когда ссылки в сапе.
Правильно ли я понял что пункт Disallow: /*print можно удалить из роботс`a, если продаеш ссылки ?

 

[killoff]

а скажите нужно ли ща дубрировать пункты Disallow: для Яндекса
прочитал, user если и надо закрывать но в начале создания сайта, а не когда ссылки в сапе.
Правильно ли я понял что пункт Disallow: /*print можно удалить из роботс`a, если продаеш ссылки ?

1. в данный момент точно не знаю, но лучше оставить. Раньше было что правила указанные для всех ботов на яндекс не распространялись, возможно сейчас ситуация изменилась - но если время дорого - лучше сразу яшу прописать отдельно.
2. про user - ничего не понял что куда зачем?
3. Если хочешь, можешь и открыть для индексации страницы для печати - но не думаю что на дублирующих страницах (для печати в частности!) кто-то будет покупать ссылки с таких страниц и с сайтов в целом, проще обезопасить себя на будущее и добавить такой сайт сразу в блэклист Но дело ваше - и мнение других не всегда может быть верным...

 

[Uglik]

Я думаю еще стоит закрыть архив:

Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
и так далее...

Это полезно от дублей, так как АГС последнее время жестко фильтрует

 

[Nilik]

Disallow: /cache/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /images/
Disallow: /backup/
Disallow: /files/
Disallow: /search/
Disallow: /search.php
Disallow: /index.php?do=search
Disallow: /*print
Disallow: /statistics.html
Disallow: /index.php?do=stats

на мой взгляд лучше сделать так!

 

[killoff]

на мой взгляд лучше сделать так!

Disallow: /statistics.html - если скрыть ссылку от незарегистрированных пользователей - то и боты ее не увидят!
Disallow: /index.php?do=stats - если скрыть ссылку от незарегистрированных пользователей - то и боты ее не увидят!
Disallow: /backup/ - нет ссылок с сайта - нет индексации ботами!
Это вообще от чего:
Disallow: /cache/
Disallow: /images/
Disallow: /files/
Disallow: /search/
Disallow: /search.php
??? Здесь идет обсуждение DLE стандартной, если у тебя установлены моды создающие данные папки и пихающие ссылки на сайт - то этот вариант только для тебя! Всем остальным он не нужен и не пригодится!

:die:
и последнее: кто когда-нибудь ссылки пихал на файлы языковых пакетов? Если нет их в шабе - нет на сайте - следовательно прописывать их в роботса не надо! Это касается и папки бэков тоже.

Итак, из приведенного выше кода остается полезными только:

Disallow: /engine/
Disallow: /index.php?do=search
Disallow: /*print

и то index.php?do=search лучше заменить на index.php?do=