Каждый поисковый робот тратит на индексацию сайта определенное количество времени, поэтому если на Вашем сайте много материалов, этого времени может не хватить, и в итоге будет проиндексирована только часть размещенного материала. Поэтому желательно скрывать те страницы, которые нежелательны для индексации.
Смотреть больше слов в «Словаре SEO терминов»
robots.txt, Datei, die von Suchmaschinen beauftragte automatische Rechercheprogramme (Roboter) daran hindert, bestimmte Teile eines Webservers z... смотреть
robots.txt — текстовый файл, размещенный в корне сайта. В файле дается инструкция поисковым системам для индексирования (какие разделы индексировать, а какие — нет). Также указывается главный домен сайта и адрес до карты сайта.<p>[Словарь терминов. Сайт-Менеджер. (Электронный ресурс). Режим доступа: http:// sm.su›Помощь›glossary/, свободный.]</p>... смотреть