Настало время рассмотреть наиболее типичные способы для управления индексацией сайта. Это необходимо, чтобы горячо любимый Яндекс (да и не только он) знал, что ему необходимо знать, а отчего лучше держатся стороной. И так, представляю вам, внутренние способы управления индексацией:
1. Самый распространенный способ разрешения/запрета индексации страниц – это правильное составление файла robots.txt.
Как известно, что при обращении поискового робота к сайту, первое, что он делает, запрашивает файл robots.txt, в котором должно быть корректно описано, что индексить, а что следует пройти стороной. Стандарт по заполнению файла robots.txt представлен здесь (или русская версия в хелпе Яндекса для разработчиков). Копипастить от туда материал я не вижу смысла, заходите и читайте. Только не забудьте после составления роботса, проверить работоспособность анализатором , а то из-за одного забытого символа, можно закрыть сайт целиком.
Закрытие от страниц в роботсе, наиболее оптимально, если запрет касается страницы целиком.
2. Мета тег robots
Я всегда пытаюсь уйти от использования данного тега, т.к. есть сомнения в его работоспособности, но все же надо помнить, что многие вебмастера до сих пор его используют. Раз кто-то этим пользуется, то стоит о нем упомянуть.
Данный тег, как и другая мета информация пишется внутри тега <head> , пример:
<html> <head> <meta name="robots" content="noindex,nofollow"> <meta name="description" content="Оптимизированное описание страницы"> <title>Клевый оптмизированный заголовок</title> </head> <body> ...
Мета тег может иметь несколько значений, но только не противоречащих друг другу:
<meta name="robots" content="index,follow"> <meta name="robots" content="noindex,follow"> <meta name="robots" content="index,nofollow"> <meta name="robots" content="noindex,nofollow">
Подробную информацию по мета тегу robots можно получить здесь .
3 .Тег <noindex>
Если вы установите какой-нибудь плагин для подсветки данного тега, то с удивлением обнаружите, насколько он любим разработчиками. Мне попадалась как-то страничка, где с помощью данного тега делался уникальным контент (все, что выделено красным закрыто в noindex):
Только помните, к большому количеству на странице, очень негативно относится Яндекс.
4. Карта сайта
Все вышеприведенное служило для скрытия информация. Теперь рассмотрим, что позволяет ускорить попадание страниц в индекс поисковых систем. И первое, что числится в этом списке, это страница с картой сайта.
Помимо помощи поисковому роботу, такая страница не позволит пользователю заблудиться на вашем сайте. Ну, а если вы захотите добавить в sape сайтик с несколькими сотнями/тысячами страниц, то без карты сайта вам точно не обойтись ))
5. Sitemap.xml
Более «продвинутый» вариант карты сайта. Sitemap.xml представляет собой файл, содержащий информацию, какие страницы должны быть проиндексированы поисковой системой. Всегда советую размещать данный файл в корне сайта, это позволит значительно улучшить индексацию, только не забудьте в robots.txt прописать к нему путь.
Отличный бесплатный генератор xml карты сайта , который позволяет создавать файлы sitemap.xml для сайтов до 500 страниц.
Всех способов управления индексацией сайта, описанных выше, вполне достаточно, чтобы в индекс Яндекса попал только нужный для нас материал. Аккуратно закрываю дубли и неуникальный контент, мы с легкостью сможешь создать идеальный (по мнению поисковика) сайт, дающий пользователю только новую информацию.
P.S. Сегодня с удивлением заметил свой блог в Баблоленте , Интернет не перестает меня удивлять, это, наверное, из-за нового дизайна 
P.P.S. Несколько дней наблюдаю на своем блоге 502 ошибку. Из-за этого выпал из индекса один сайт, и убавилось денег на сапе. Начинаю подумывать о замене хостинга, но пока приоритетней цена, чем качество.
Похожие записи:
- Оптимизация. Полные дубли страниц в пределах домена. Официальные источники из Яндекса утверждают, что дубли контента внутри сайта,...
- Оптимизация. Настраиваем основное зеркало. Лично я правильной настройки зеркал уделяю очень большое внимание....
- Оптимизация С сегодняшнего дня на моем блоге появляется новая рубрика,...
Реклама в бомжеленте.
Помогите детям!
