ROBOTS.TXT

– это файл, который помещается в корневую директорию сайта, основная его задача – управление поведением поисковых машин на сайте. В нем указываются все страницы и разделы сайта, которые вы не хотите проиндексировать в поисковых системах. Это могут быть, к примеру, страницы учетных данных пользователей или страницы с какой-либо технической информацией.

Каждый поисковый робот тратит на индексацию сайта определенное количество времени, поэтому если на Вашем сайте много материалов, этого времени может не хватить, и в итоге будет проиндексирована только часть размещенного материала. Поэтому желательно скрывать те страницы, которые нежелательны для индексации.

См. также

  • HTML
  • Поисковый алгоритм
  • Поисковая система
  • Индексация

Словарь SEO терминов 

RSS →← RAMBLER

T: 0.122459227 M: 3 D: 3