У каждой поисковой системы есть свои правила. В большинстве своем они почти ничем не отличаются, поэтому вебмастеры стараются оптимизировать свои проекты сразу индексирование сайтов роботами и для всех.

Зеленым цветом на графике отмечается количество страниц в индексе без ошибок, красным — с ошибками. Перейдя на вкладку «Покрытие», можно детально посмотреть: какие ошибки возникли при индексировании данных страниц и когда они были обнаружены.

Пауки от конкретных сервисов. В Yandex есть несколько десятков сервисов, отдельный робот предусмотрен для некоторых из них. Например, разработаны краулеры для «Яндекс.Справочника», «Яндекс.Маркета», «Яндекс.Трекера», «Яндекс.Вебмастер» и т.д. 

Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Также запрет на индексацию страниц сайта реализуется с помощью мета-тегов. На странице, которую нельзя индексировать требуется прописать тег:

настроить отслеживание изменений на важных страницах (изменение ответа сервера, выпадение из индекса);

Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.

Источник: http://rabotaonlinefree.ru/uskorennaya-indeksaciya-stranic-sajta-metody/

Patinka!