Помощь Помогите улучшить robots.txt

[Protector]

Решил поделится моим robots.txt под мои wordpress сайты. Ссылки на сайте имеют вид Для просмотра ссылки Войди или Зарегистрируйся. Помогите улучшить робота. Что добавить, что убрать, какие роботы на ваших сайтах ?

User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /admin
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback/
Disallow: /trackback
Disallow: */*/trackback
Disallow: /?s=
Disallow: /*?*
Disallow: /*category
Disallow: /*feed
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /?feed=
Disallow: /*comments
Disallow: /*archives

 

[utkonos]

Disallow: /Категория/offset_20

Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся в помощь.

 

[BestFish]

Disallow: /Категория/offset_20

Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся в помощь.

это все хорошо, но на сайте более 700 категорий и к сожалению offset_ бывает 20, 40, 40, и тд...
как закрыть от индекса страницы с offset_Х, пока не разобрался нет примеров.

 

[wpseven]

Disallow: */offset_*
Но вам тут писали уже, что страницы все равно попадут в индекс.
Второй вариант, добаить в functions.php темы:

function my_hook() {
  if(strpos($_SERVER['REQUEST_URI'], '/offset_') === true)
    echo '<meta name="robots" content="all"/><meta name="robots" content="noindex, follow"/>';
}
add_action('wp_head', 'my_hook');

 

[utkonos]

Вот пишут:

# This space intentionally left blank
# If you want to learn about why our robots.txt looks like this, read this post: Для просмотра ссылки Войди или Зарегистрируйся
User-Agent: *
Disallow: /suggest/?*

особо доставляет: "Добавлять карту сайта в роботс? Это нонсенс."

 

[Makhovikov]

Я сторонник мнения, что современный robots.txt для WP может быть совершенно простым.
Например, таким, какой генерируется по-умолчанию или лишь капельку сложнее:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Host: http://site.ru
Sitemap: http://site.ru/sitemap.xml

Host - тег понимает только Яндекс, принимает к рассмотрению, но не факт, что обязательно учтет.
Sitemap - можно вообще не указывать, а задать напрямую через панель вебмастера и Яндексу и Гуглу.

Если надо ограничить индексацию или избавиться от дублей, то в наши дни это делается через sitemap.xml, метатеги robots и canonical - и в WP это все отлично реализовано.
И Яндекс и Гугл обрабатывают их правильно. А вот на директивы из robots.txt они реагируют по-разному.

Гугл поощряет сайты, которые поддерживают мобильные устройства, для этого ему надо читать css и js.
Может быть, поэтому он индексирует весь сайт, не глядя на указания в robots.txt. Хуже того, он индексирует запрещенные страницы как дубли (Панде привет).

Яндекс пока еще не индексирует запрещенные страницы, но уже заявил о тестовом режиме анализа css и js, так что в будущем и он будет хотеть видеть весь сайт целиком.

 

[нарада]

Здесь написано что robots.txt генерируется сам. Но у меня, почему-то, он никак не генерируется сам…
Для просмотра ссылки Войди или Зарегистрируйся
Как сделать такую "автогенерацию"? Или лучше все же не стоит, а прописать самому минимальный типа:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Host: https://www.site.com
Sitemap: https://www.site.com/sitemap.xml

 

[Makhovikov]

Здесь написано что robots.txt генерируется сам. Но у меня, почему-то, он никак не генерируется сам…
Как сделать такую "автогенерацию"?

Ну, например, поставить СЕО плагин. All-in-one CEO pack или аналогичный. В большинстве есть автогенератор robots и sitemap.

 

[нарада]

Ну, например, поставить СЕО плагин. All-in-one CEO pack или аналогичный. В большинстве есть автогенератор robots и sitemap.

Ну я пользуюсь SEO by Yoast, но он не создает никаких записей в файле /robots.txt . Скорее всего, он скрыто как-то указывает поисковикам – что индекс, а что – нет…

 

[Makhovikov]

В нем предусмотрено просто редактирование robots.txt через tools.

 

[magicwd]

Такой нравится Яше:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /20*
Disallow: /cgi-bin
Disallow: /author/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
User-agent: Yandex
Disallow: /20*
Disallow: /cgi-bin
Disallow: /author/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
Sitemap: http://site.com/sitemap.xml
Host: site.com