Словарь SEO терминов

USERAGENT

– это директива в файле с инструкциями для поисковых роботов robots.txt. С помощью этой директивы можно не только установить свои правила поведения на сайте и его индексации каждой поисковой системе, но и каждому из роботов поисковой системы в отдельности. Например, есть необходимость закрыть от индексации какой-нибудь раздел, для того чтобы изменить в нем тексты, но при этом нужно, чтобы изображения из этого раздела продолжали индексироваться.

В таком случае можно прописать следующие директевы, для соответствующих User-agent

User-agent: YandexImagesAllow: /
User-agent: YandexBotDisallow: /razdel/*

Также с помощью User-agent желательно разграничивать те директивы, которые понимает только одна из поисковых систем. Например, директиву Host нормально понимает только Yandex, Google ее просто игнорирует, а вот у Bing могут возникнуть проблемы с этой директивой в некоторых случаях. Поэтому лучше четко разделять, для каких User-agent использовать такие не универсальные директивы.

См. также

  • robots.txt
  • Индексация
  • Поисковый алгоритм
  • Поисковая система
  • Индексация

Ещё