| vin4er | Дата: Пятница, 22.07.2011, 00:05 | Сообщение # 1 |
|
Здравствуйте. Хотелось спросить Вашего мнения. Правильно ли я составил robots.txt У меня сайт на wordpress и я хочу закрыть от индексации все служебный страници. Что бы в индексе был только контент и ничего лишнего. Вот сам robots.txt:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /webstat
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /webstat
Host: www.coderland.in
Sitemap: http://www.coderland.in/sitemap.xml
|
| |
| |
