A B C D E F G H I J K L M N O P R S T U W X Y « А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш Э Ю Я 
USERAGENT
– это директива в файле с инструкциями для поисковых роботов robots.txt. С помощью этой директивы можно не только установить свои правила поведения на сайте и его индексации каждой поисковой системе, но и каждому из роботов поисковой системы в отдельности. Например, есть необходимость закрыть от индексации какой-нибудь раздел, для того чтобы изменить в нем тексты, но при этом нужно, чтобы изображения из этого раздела продолжали индексироваться.

В таком случае можно прописать следующие директевы, для соответствующих User-agent

User-agent: YandexImagesAllow: /
User-agent: YandexBotDisallow: /razdel/*

Также с помощью User-agent желательно разграничивать те директивы, которые понимает только одна из поисковых систем. Например, директиву Host нормально понимает только Yandex, Google ее просто игнорирует, а вот у Bing могут возникнуть проблемы с этой директивой в некоторых случаях. Поэтому лучше четко разделять, для каких User-agent использовать такие не универсальные директивы.

См. также

  • robots.txt
  • Индексация
  • Поисковый алгоритм
  • Поисковая система
  • Индексация


Словарь SEO терминов  2018

← URLW3C →

T: 0.066891867 M: 6 D: 0