USERAGENT

– это директива в файле с инструкциями для поисковых роботов robots.txt. С помощью этой директивы можно не только установить свои правила поведения на сайте и его индексации каждой поисковой системе, но и каждому из роботов поисковой системы в отдельности. Например, есть необходимость закрыть от индексации какой-нибудь раздел, для того чтобы изменить в нем тексты, но при этом нужно, чтобы изображения из этого раздела продолжали индексироваться.

В таком случае можно прописать следующие директевы, для соответствующих User-agent

User-agent: YandexImagesAllow: /

User-agent: YandexBotDisallow: /razdel/*

Также с помощью User-agent желательно разграничивать те директивы, которые понимает только одна из поисковых систем. Например, директиву Host нормально понимает только Yandex, Google ее просто игнорирует, а вот у Bing могут возникнуть проблемы с этой директивой в некоторых случаях. Поэтому лучше четко разделять, для каких User-agent использовать такие не универсальные директивы.

См. также

• robots.txt
• Индексация
• Поисковый алгоритм
• Поисковая система
• Индексация