Как наладить индексацию сайта и почему она так важна
Чтобы ответить на вопрос из заголовка статьи обстоятельно, надо разобраться, как устроен индекс поисковых систем. И первый важный момент, который следует понять – поиск в интернете осуществляется по базам данных. Поисковые системы не ищут ответ на запрос пользователя в реальном времени: это тратило бы уйму ресурсов. Так что поисковик всегда обращается к своим серверам, где сортируется информация, собранная роботами со страниц сайтов.
Сбор информации поисковыми ботами называется индексацией. Как объясняет “Яндекс”, робот регулярно обходит интернет, обрабатывая документы. Причем в поисковиках их сразу два: один для общей индексации, а второй для поиска самой свежей новостной информации. За очередность обработки документов отвечает планировщик, который составляет маршрут для “паука” (поискового краулера).
Паук проходит по ссылкам и добавляет url в список на индексацию. Затем поисковый робот индексирует страницу. Если страница признана им полезной, данные будут выгружены с нее и отправлены на сервер.
Шанс получить трафик из поиска страница получает только после индексации. Так что если есть технические сложности и страницы не индексируются, то и посетители к вам не придут. Причины, по которым страницы могут не индексироваться, бывают разными:
- Они закрыты от индексации. По умолчанию, сокрытие страниц для индексации – полезная для SEO-специалистов возможность. Например, они “прячут” от поисковиков технические и служебные страницы или некоторые блоки CMS. Но иногда страницы от индекса закрывают случайно.
- Ошибки в коде страницы, из-за которых поисковый робот не видит часть либо весь контент.
- Страница является дублем либо малозначимой, невостребованной, неинформативной. Последнее относится к страницам без текста и с шаблонными блоками. Подробнее об этом можно узнать в “Яндексе”.
Следить за ходом индексации можно в Google Search Console и “Яндекс Вебмастер”. Причем делать это надо регулярно: если вы видите, что страница попала в индекс, она не будет там вечно. Например, страница может стать закрытой или на ней появятся технические ошибки. Чтобы вовремя отслеживать, что происходит в индексе, мы проводим ежемесячные и ежеквартальные аудиты.
Чтобы облегчить управление индексацией, можно обращаться к нескольким полезным инструментам:
- Файл robots.txt позволит открывать и закрывать от поисковых роботов страницы и даже целые разделы сайта.
- Файл sitemap.xml содержит список страниц, которые поисковой системе, наоборот, стоит проиндексировать.
- “Яндекс Вебмастер” и Google Search Console, как мы уже указали, помогут следить за работой пауков, отправить страницы на индексацию и оперативно удалить что-то из индекса по необходимости.
Напоследок скажем о еще одном важном правиле для качественной индексации сайта.
Если вы создаете новую страницу, на нее обязательно нужно поставить ссылку где-то внутри сайта. И дело здесь не только в том, что перелинковка улучшает авторитетность страницы, распределяет общий ссылочный вес и облегчает навигацию пользователям. Поисковые боты начинают сканирование сайта с самых важных разделов: сначала главная, потом страницы 2-ого уровня вложенности и т. д. Соответственно, разместив внутреннюю ссылку на только созданную страницу, вы подадите роботу сигнал, что надо просмотреть новую информацию, а значит, индексация ускорится. Да и в целом, связанные ссылки помогают ботам анализировать содержание страниц более точно.
Остались вопросы?
Оставьте заявку, чтобы получить консультацию
