Сейчас я расскажу вам,как правильно составить Robots.txt для сайтов на
uCoz,ведь наличие на сайте Robots.txt - это верный путь к раскрутке
сайта,ведь если его нету,то есть вероятность попасть под фильтры
поисковых систем. Рассмотрим теги,которые входят в состав Robots.txt :
Disallow: это дистрибутив,который запрещает индексацию определенных страниц. Allow: это дистрибутив,который разрешает индексацию определенных страниц. User-agent : Этот тег дает информацию о боте для которого стоят настройки.
Исходя из этого,сразу появляется мысль,а как же создать сам Robots.txt и чтобы он был правильный,вот ответ :
Нельзя просто создать Robots.txt и вставить в него дистрибутивы,уж так
построена система,рассмотрим на примере,например,каталог статей.
Запрещаем к индексации :
Disallow: /publ/
Разрешаем индексацию :
Allow: /publ/
Также,можно вписать не только адреса модулей,можно так же вписать определенные страницы сайта или модулей.
Важный момент,дистрибутив Allow должен стоять выше своего оппонента Disallow.
Тег User-agent ставится в самом верху,теперь посмотрим,как его
настроить.Если вы хотите,что бы информация была открыта только для бота
Яндекса,то ставим его так :
User-agent: Yandex
А если мы хотим,чтобы информация была открыта для просмотра всем роботам,то ставим тег так :
В начале создания сайта,у вас автоматически ставится дистрибутив
Disallow и обойти его не традиционным методом нельзя,а традиционным
можно убрать оплатив базовый пакет,который стоит не более 100 рублей,а
после написать в Тех поддержку uCoz с просьбой снять с карантина.
Спасибо за внимание.Если у вас есть вопросы или вам помогла моя статья,то прошу оставлять комментарии.
Приветствую вас уважаемый пользователь игрового портала exe-cool.ru. Специально для вас мы подготовили этот уникальный, красивый дизайн, ну и конечно же множество разных файлов, для каждой категории, которую вы сможете выбрать у нас, в нашем удобном меню. Каждый файл имеет свой раздел и заключен в свою категорию. Наш портал наполнен уникальными файлами, которые вы сможете скачать абсолютно бесплатно. Чтобы стать одним из нас, вы должны зарегитсрироваться на сайте. Специально для вас мы создали поиск по файлам, в котором вы сможете найти все, все то что вы хотели. Желаю вам удачи!
