A B C D E F G H I J K L M N O P R S T U W X Y « А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш Э Ю Я 
ROBOTS.TXT
– это файл, который помещается в корневую директорию сайта, основная его задача – управление поведением поисковых машин на сайте. В нем указываются все страницы и разделы сайта, которые вы не хотите проиндексировать в поисковых системах. Это могут быть, к примеру, страницы учетных данных пользователей или страницы с какой-либо технической информацией.

Каждый поисковый робот тратит на индексацию сайта определенное количество времени, поэтому если на Вашем сайте много материалов, этого времени может не хватить, и в итоге будет проиндексирована только часть размещенного материала. Поэтому желательно скрывать те страницы, которые нежелательны для индексации.

См. также

  • HTML
  • Поисковый алгоритм
  • Поисковая система
  • Индексация


Словарь SEO терминов  2018

← RAMBLERRSS →

T: 0.058027041 M: 6 D: 0