бесплатные списки прокси

ВНИМАНИЕ! ПРИНИМАЮТСЯ ЗАЯВКИ НА РЕКЛАМУ! ОСТАВЛЯЙТЕ ЗАЯВКИ НА РАЗМЕЩЕНИЕ РЕКЛАМЫ В ЭТОЙ ТЕМЕ ФОРУМА /forum/18-379-1

Описание файла robots.txt на uCoz

19:00
Рейтинг материала:
155/155 из 155 голосов


На uCoz обновился файл robots.txt. Он настроен на оптимальную работу в системе, запрещает к индексации ненужные, подробное описание каждой строчки robots.txt на uCozоткровенно мусорные страницы и многочисленные дубли страниц, которые система uCoz генерирует в большом количестве. Некоторые не понимая смысла файла и ошибочно считая, что сайт запрещен к индексации, прописывают свой файл, разрешая всё в лучшем случае. В худших случаях пользователи сами ставят правила, не задумываясь о последствиях. В особо извращенных случаях пользователи копируют файлы robots.txt с других систем управления сайтов и ставят на uCoz. И вот, чтобы не было всех этих недоразумений, приведу построчное описание файла robots.txt на uCoz

Системный файл robots.txt

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

Описание каждой строчки файла robots.txt на uCoz

User-agent: * общее обращение ко всем сканерам, читающим файл robots.txt
Allow: /*?page разрешение страниц пагинации на главных страницах модулей
(связанно со строчкой Disallow: /*? )
Allow: /*?ref= нужна для правильной переиндексации компонентов социальной
регистрации
Disallow: /*? запрет к индексации поисковых запросов, кода безопасности
на uCoz, проксированных ссылок, компонентов рекламного баннера, дублей
главной страницы и блога (компоненты кода системы, связанные с сессиями ssid),
дубли ссылок на изображения в фотоальбомах, других мусорных компонентов системы
Disallow: /stat/ запрет индексации компонента счетчика статистики (картинка с данными)
Disallow: /index/1 техническая страница входа
Disallow: /index/3 запрет индексации страницы регистрации (локальная регистрация)
Disallow: /register запрет индексации страницы регистрации (социальная и uID регистрация)
Disallow: /index/5 запрет к индексации аякс окна напоминания пароля в старой форме входа
Disallow: /index/7 служебная страница выбора аватара из коллекции
Disallow: /index/8 запрет к индексации профилей пользователей (один из способов защиты от спама)
Disallow: /index/9 запрет индексации аякс окна Доступ запрещен
Disallow: /index/sub/ запрет к индексации локальной авторизации
(связано со старой формой входа)
Disallow: /panel/ запрет к индексации входа в панель управления
Disallow: /admin/ запрет к индексации входа в панель управления
Disallow: /informer/ запрет к индексации информеров, вставленных скриптом
(при этом содержимое информеров, вставленных системным кодом $MYINF_х$
будет индексироваться свободно)
Disallow: /secure/ запрет на индексацию кода безопасности
(связано со строчкой Disallow: /*?)
Disallow: /poll/ запрет индексации служебной папки опросов
Disallow: /search/ запрет индексации страницы поиска,
тегов и поисковых запросов (связано со строчкой Disallow: /*?)
Disallow: /abnl/ запрет индексации компонентов системного
рекламного баннера (для сайтов с не отключенной рекламой)
Disallow: /*_escaped_fragment_= запрет технического компонента кода
Disallow: /*-*-*-*-987$ запрет дублей страниц в модулях Новости и Блог, связанных с кодом комментариев на странице
Disallow: /shop/checkout/ запрет к индексации корзины и кода оформления заказа для Интернет магазина
Disallow: /shop/user/ запрет к индексации пользователей магазина (субагенты)
Disallow: /*0-*-0-17$ запрет к индексации различных фильтров,
страниц материалов пользователя, ссылки на последнее сообщение форума, дублей системы и т.д
Disallow: /*-0-0- запрет к индексации страниц добавления материалов,
списков материалов пользователей, ленточного варианта форума (некоторые дублирующие URL),
страниц со списком пользователей (некоторые дублирующие URL), поиска по форуму, правил форума,
добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы

Добавлены новые строчки

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
они разрешают индексирование скриптов, картинок, файлов стилей. нужны они для избежания ошибок заблокированные ресурсы на проверках эмуляторов

Sitemap: //адрес сайта/sitemap.xml общая карта сайта
Sitemap: //адрес сайта/sitemap-forum.xml карта форума
(оставлять в файле, если активирован модуль форум)
Sitemap: //адрес сайта/sitemap-shop.xml карта магазина
(прописывать только, если активирован модуль Интернет магазин)
Host: адрес сайта без https:// (прописывать, если прикреплен домен
для определения главного зеркала. дирректива прописывается в
любом месте роботса, предназначена для Яндекса, при этом
отдельное обращение к роботам Яндекса не нужно. Google игнорируется) На данный момент директива Host Яндексом перестала учитываться и прописывать её не надо

 

Категория: uCoz | автор: Дата: | описание: подробное описание строчек robots.
просмотры: 29297 | Комментарии: 5
Нравится!
+155
| Теги: UCOZ





Похожие материалы:



Всего комментариев: 5
Владимир Юрьевич   (2019-02-11 20:02)2019-02-11T20:02:58Z 5
Спасибо за статью, страницу не удавалось загнать в индекс. Благодаря данной строчке Disallow: /*-*-*-*-987$ проблема решилась. Еще раз спасибо.
аватар пользователя webanet
webanet   (2015-11-09 22:33)2015-11-09T22:33:18Z 4
0
biohronometrolog  исправила в тексте. там запрет на индексацию не самих опросов, а служебной папки. сами же опросы тексты и ответы индексируются. для того чтобы посмотреть что находится в папке poll наберите адрес своего сайта/poll/и вы увидите то, что не должно индексироваться.
аватар пользователя biohronometrolog
biohronometrolog   (2015-11-09 13:26)2015-11-09T13:26:37Z 3
Здравствуйте!
Подскажите пожалуйста какое влияние оказывают опросы, по умолчанию установлено:
Disallow: /poll/
хотя в инете пишут что опросы благоприятно влияют на существование сайта.
аватар пользователя webanet
webanet   (2015-06-20 18:36)2015-06-20T18:36:20Z 2
1
переспама точно не будет. в информерах внутренние ссылки. а скриптом можно вставить информер категорий. остальные лучше кодом
сильно влияют по версии гугла - это мешает или перекрывает отображение контента. или контент выводится с помощью скрипта, который заблокирован
аватар пользователя barocha69
barocha69   (2015-06-20 09:41)2015-06-20T09:41:01Z 1
Добрейшее, у меня вопрос по поводу Disallow: /informer/ получается если мы вставляем информер через скрипт, то индексации информера нет, но тогда по вашим словам из другой темы "Если они сильно влияют на внешний вид страницы" гугл понизит рейтинг.
Вопрос вообщем в чем Когда необходимо вставлять информеры через скрипт? и если мы вставляем информер обычным способом не будет ли переспама? Заранее спасибо.
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]