Практически любому, кто хоть немного разбирается в таком вопросе, как создание сайтов, известно, что одну из главных ролей в успехе его продвижения на поисковых страницах крупнейших поисковых систем играет грамотно разработанная и проводимая индексация.
Причем, та самая грамотная разработка и проведение работ по индексации в целях продвижения сайта подчас предполагает, что индексация некоторых веб-страниц сайта может быть временно или постоянно закрыта.
Как правило, это касается тех страниц, индексация которых не играет решающей роли в вопросах продвижения сайта. Например, на сайте интернет-магазина это могут быть страницы, на которых предлагаются отдельные виды товаров или услуг. Правильным решением станет исключение из направлений индексации корзины товаров, страниц форума, пользовательских профилей. В итоге подобная работа обязательно способствует дополнительному продвижению сайта.
Такая работа заметно облегчит деятельность поискового робота, которому не придется отвлекаться на непрофильные поисковые запросы и сочетания позиций на тех станицах, которые не играют для сайта решающую роль. Профессиональные и опытные оптимизаторы чаще всего рекомендуют отказаться от индексации некоторых веб-страниц обладателей больших и тяжелых сайтов, которые поисковым роботам сканировать сложно. В этом случае избыточная индексация способна не просто не оказывать существенного влияния на деятельность поисковых роботов, а, следовательно, на успешность продвижения сайта. Она наоборот может заметно мешать выполнять роботам необходимую работу. Владельцы небольших ресурсов или сайтов-презентаций, не имеющих большого количества дополнительных веб-страниц, могут вообще не задумываться о возможности возникновения подобной проблемы. Так как их «легкий» сайт и так успешно сканируется поисковыми роботами.
Кстати, стоит обратить внимание, что грамотная политика в вопросах индексации различных страниц и частей сайта позволяет дополнительно структурировать ресурс. В том числе отсечь и даже удалить дублирующуюся информацию, которая способна со временем появляться на страницах больших долгоиграющих проектах. Кроме того, стоит обратить внимание, что индексация может быть снята с тех страниц, просмотр которых не предназначен для внешнего пользователя. Причем, в этом случае индексация может сниматься не только с отдельных веб-страниц, но и даже с отдельных абзацев текста.
