Как провести аудит сайта самостоятельно

Если вы, по каким-либо причинам, хотите провести аудит сайта самостоятельно, то можете столкнуться со следующими проблемами:

1. Огромное количество статей в поисковой выдаче, в которых варианты SEO-аудита различаются. Трудно разобраться, какой из них подходит больше всего в вашем случае или какой из них наиболее эффективен.
2. Статьи написаны для сеошников, которые осваивают профессию и уже в курсе многих сложных терминов. Или для уже опытных специалистов, которые повышают квалификацию и ищут новые идеи для своей работы. Такие статьи трудно воспринимаются человеком, который далек от SEO.

В статье мы постараемся закрыть эти проблемы. Ниже будет базовая универсальная инструкция по проверке сайта на основные ошибки. 

Естественно, полный технический аудит сайта включает в себя намного больше пунктов, однако в статье перечислены только основные, наиболее значимые моменты.

Также, сразу оговоримся, что в статье нет сложного и платного софта, который используют SEO-специалисты в работе. Проведение аудита по инструкции из нашей статьи бесплатно.

Чтобы провести аудит до конца, запаситесь терпением и одним-двумя вечерами. Такую проверку мы советуем проводить регулярно, хотя бы раз в полгода.

После проведения аудита все выявленные недочеты оформляйте в подробное ТЗ для программиста, которое затем можно разместить на любой площадке по поиску фрилансеров, например fl.ru или freelance.habr.com. 

Подготовка к проведению аудита

Для начала, необходимо добавить сайт в Google Search Console и Яндекс.Вебмастер — инструменты, с помощью которых можно отслеживать состояние сайта и взаимодействовать с поисковыми системами.

С инструкцией по установке вы можете ознакомиться в видео-формате.  

Также есть подробные статьи на эту тему:

1. Установка Яндекс.Вебмастер https://vc.ru/seo/174827-polnoe-rukovodstvo-po-yandeks-vebmasteru — наиболее простой способ подтверждения прав — через html-файл
2. Установка Google Search Console https://vc.ru/seo/220129-google-search-console-rukovodstvo-dlya-nachinayushchih-vebmasterov 

Необходимо будет подготовить список наиболее важных для вашего бизнеса страниц, которые должны показываться в поисковой выдаче, они понадобятся нам в дальнейшем.

Ошибки, которые могут препятствовать индексации сайта

Под индексацией сайта мы подразумеваем его добавление в базу данных поисковых систем (Google или Яндекс). Если сайта в ней нет, он не попадет в выдачу, даже если все остальное будет проработано идеально. Поэтому исправлять такие ошибки нужно в первую очередь. Теперь к самим ошибкам.

Файл robots.txt

Здесь нужно понимать, что этот файл помогает увидеть поисковым системам, какие части сайта нужно сканировать, а какие нет. Посмотреть этот файл можно, дописав /robots.txt в адресной строке. Например, для сайта https://site.ru это будет выглядеть так: https://site.ru/robots.txt.

Нам нужно проверить, не закрыты ли для индексации основные страницы сайта.Для начала нужно собрать список этих страниц. Для этого переходим по ссылке, добавляем проверяемый сайт и жмем “Start”.

После сканирования, копируем содержимое таблицы на скриншоте ниже и вставляем в обычную Google таблицу:

Содержимое первого столбца – список наших страниц

Далее, воспользуемся инструментом https://webmaster.yandex.ru/tools/robotstxt/ .

Добавляем ссылку на сайт в соответствующее поле и копируем содержимое robots.txt, жмем “Проверить”:

Далее копируем полученный список страниц в поле “Разрешены ли URL?”:

Здесь советуем дополнительно добавить ссылки на наиболее приоритетные для вас страницы на сайте. Жмем на кнопку “Проверить”.

Если важная для вас страница помечена крестиком, фиксируем ее. Если таких страниц нет, значит все в порядке и переходим к следующему пункту.

Как видят сайт поисковые роботы 

В данном пункте важно убедиться, что при сканировании сайта поисковой системой, ей отдается такой же контент, как и пользователям.

Отберите наиболее важные для вас страницы. Далее переходим в Google Search Console, в строку поиска добавляем адрес страницы, которую нужно проверить, запускаем проверку.

Нажимаем “Изучить просканированную страницу”

Нажимаем “Скриншот”, далее “Проверить страницу на сайте”, ждем окончания проверки

Если мы видим здесь полностью корректно отображенную мобильную версию сайта, в таком случае все в порядке, и мы переходим к следующему пункту. Если, например, вы видите обычный текст без стилей или другие недочеты, фиксируем этот момент. Аналогичным образом здесь стоит проверить все важные страницы на сайте.

Региональность сайта

Во-первых, если вы не добавили сайт на Google и Яндекс Карты, необходимо это сделать.

Далее заходим в Яндекс.Вебмастер, переходим в пункт “Представление сайта в поиске” > “Региональность”

Если в пункте “Вебмастер” у вас не указан регион сайта, кликаем на “шестеренку” и указываем его.

Файл sitemap.xml

Поисковые роботы, в том числе по указанным в файле sitemap.xml ссылкам, сканируют ваш сайт. Если этот файл некорректен или вовсе отсутствует, могут возникнуть трудности с индексацией сайта.

Если у вас нет ссылки на данный файл, найти его будет затруднительно, в таком случае проще создать новый. Но мы перечислим основные способы, как это можно сделать:

1. Перейдите на главную страницу сайта и в поисковой строке к доменному имени добавьте /sitemap.xml, то есть должно получиться так: domen.ru/sitemap.xml. Если вы видите страницу с 404 ошибкой, переходим к следующему пункту.
2. Переходим в файл robots.txt, ищем строку, которая начинается на “Sitemap:”. Если такая строка есть, копируем ссылку после двоеточия и переходим по ней.

Если вы не нашли карту сайта, то вот несколько сервисов по ее автоматической генерации:

• https://www.xml-sitemaps.com/
• https://xmlsitemapgenerator.org/
• https://www.web-site-map.com/
• https://www.mysitemapgenerator.com/ru/

Сгенерированную карту сайта нужно добавить в корневой раздел сайта.

Либо добавьте в ТЗ программисту пункт по созданию карты сайта и добавлению ее в корневой раздел сайта.

Полезная статья на тему “Как найти корневой раздел сайта” 

После создания карты сайта нужно добавить ее:

• В Яндекс.Вебмастер. Переходим на вкладку “Индексирование” > “Файлы Sitemap” и добавляем ссылку на файл в соответствующую строку.

• В Google Search Console. Переходим на вкладку “Файлы Sitemap”, в соответствующую строку также добавляем ссылку на файл.

Теги noindex на страницах

С помощью тегов noindex можно полностью закрыть страницу либо отдельные фрагменты страницы от индексации поисковыми роботами. 

В некоторых случаях эти теги могут использоваться некорректно, из-за чего поисковые системы не индексирует важный контент на страницах.

Чтобы проверить наличие таких тегов в коде, снова возвращаемся к списку приоритетных страниц. Откройте некоторые из них. Далее кликните правой кнопкой мыши по любому месту и нажмите “Просмотр кода страницы”. Откройте поиск по странице, в строку поиска добавьте “noindex”

Зафиксируйте все найденные теги на страницах в ТЗ. Здесь вам необходимо проконсультироваться с программистом, он должен подсказать вам, какой контент закрыт этим тегом. Если этот контент важен, теги необходимо снять.

В выдаче только одно зеркало сайта

Зеркалом сайта называют точную копию вашего основного сайта, доступную по другому адресу. Например, зеркалами могут считаться https://domen.ru и https://domen.com. Зеркала могут мешать вашему основному сайту ранжироваться, вытесняя его из поисковой выдачи по важным запросам.
Чтобы найти зеркала сайта, копируем любой текстовый участок на главной странице. Далее в поисковую строку и Яндекс, и Google вставляем этот текстовый фрагмент и добавляем “-site:domen.ru” (вместе “domen.ru” должен быть ваш домен)

Как мы можем видеть на скриншоте ниже, в Google у нашего сайта зеркал нет

Аналогичные действия проводим с Яндекс. Если вы нашли какие-либо зеркала, ставим в ТЗ программисту подклеить их к основному зеркалу сайта с помощью постраничного 301 редиректа.

Редиректы настроены

Часто возникают ситуации, когда одна и та же страница открываются по нескольким адресам:


• С http:// и https://
• С www и без www (https://domen.ru и https://www.domen.ru)
• Со / на конце URL и без него (https://domen.ru и https://domen.ru/)

Каждую такую страницу поисковые системы воспринимают как отдельную, то есть страницы https://domen.ru и https://domen.ru/ разные для поисковой системы. Они могут восприниматься как дубли, из-за чего могут наблюдаться проблемы с индексацией и ранжированием сайта.

Вбейте в поисковую строку все перечисленные вариации. Если при данной проверке не происходит переадресация на единственный вариант из перечсленных, ставьте ТЗ разработчику на постановку 301 редиректа на версию, которая лучше всего ранжируется на текущий момент.

Чтобы понять, какая версия ранжируется лучше, вбейте site:domen.ru. Посмотрите, какая версия отображается в выдаче. На эту версию нужно ставить редирект.

Внутренние ссылки

Откройте любую страницу сайта в режиме просмотра кода:

Вызовите поиск по странице и пропишите nofollow

Если кратко, nofollow — атрибут, который добавляют ссылкам, чтобы поисковый робот при сканировании страницы не переходил по ним, добавляется он таким образом rel=”nofollow”. В ссылке он встречается так: <a href=”ссылка” rel=”nofollow”>Посмотрите, какие ссылки у вас закрыты этим атрибутом на важных страницах. Обратите внимание на содержание href=”то, на что обращаем внимание”. Это адрес, ссылки. Есть ли в этом адресе страница, которая должна быть в поисковой выдаче? Если да — добавляйте в ТЗ страницы, на которых встречаются атрибуты nofollow. Также укажите, в какой именно строке находится nofollow, чтобы программист понимал, откуда нужно убрать атрибут.

Ошибки в Яндекс.Вебмастер

Заходим в Яндекс.Вебмастер на вкладку “Сводка”

Смотрим на вкладку “Диагностика. Проблемы сайта”

Если красным отмечены пункты с фатальными и критическими ошибками, добавляйте в ТЗ скриншоты с ними.

Адаптивная версия сайта

Одно из главных требований к современным сайтам — чтобы они одинаково хорошо смотрелись на экранах компьютеров, ноутбуков, планшетах и смартфонах.Чтобы проверить сайт на адаптивную версию, любом месте страницы сайта кликните правой кнопкой мыши и нажмите “Просмотреть код”. В появившейся панели нажмите на кнопку:

В данном режиме мы можем увидеть, как смотрится сайт на любых устройствах. Чтобы поменять устройство, нажмите на:

Просмотрите, как выглядит сайт на каждом устройстве. Если видите недочеты в верстке (интерактивные элементы перестают работать в мобильной версии, наезжают друг на друга или как-либо еще некорректно отображаются), добавляйте все это в ТЗ разработчикам.

Также проверьте, весь ли важный контент отображается в мобильной версии сайта, который есть на десктопе. Часто бывает такое, что в угоду дизайна на мобильной версии скрывают текст, такого быть не должно.

Корректность кода на сайте

Для данной проверки воспользуемся сервисом . Прогоняем через него наиболее важные страницы сайта. Внимание тут стоит уделить ошибкам, которые помечены как “Fatal error”. Скриншоты таких ошибок добавляем в ТЗ.

Анализ текстовой оптимизации сайта

Один из самых важных параметров, по которому поисковые системы ранжируют сайт. Без текста поисковые системы не смогут понять тематику, по каким запросам сайт должен показываться в выдаче.

Теги Title

Тег Title — наиболее важная текстовая зона при ранжировании страницы на сайте. Он оказывает влияние на степень соответствия страницы запросу пользователя, привлекательность и кликабельность сайта в поисковой выдаче. Он также может отображаться в поисковой выдаче.

И при наведении на вкладку в браузере:

Каким должен быть тег:

• Содержать самые популярные запросы, по которым должна показываться страница в выдаче. Популярные запросы вы можете посмотреть в сервисе https://wordstat.yandex.ru, не забудьте указать ваш регион.

• Не спамным, крайне не рекомендуем более двух раз употреблять в нем одно и то же слово
• Читабельным. Например, тег “Купить IPhone 12 128gb, купить IPhone 12 128gb в Москве, заказать айфон по низкой цене”, нечитабелен. А тег “Купить IPhone 12 128gb в Москве | Заказать айфон по низкой цене” уже воспринимается намного лучше.
• Содержащим топоним (город или регион, в котором предоставляются услуги)
• Теги Title у страниц не должны дублироваться между разными страницами

Для проверки тегов можете воспользоваться сервисом https://page-speed.ru/tests/metatags/. Далее, если у вас нет возможности самостоятельно заменить теги, в ТЗ для разработчика советуем добавить таблицу со столбцами “Ссылка на страницу”, “Title”. В нее также добавьте столбцы Description, H1, подробнее о них в следующих пунктах.

Теги Description

Данный тег, скорее всего, не влияет каким-либо образом на ранжирование, во всяком случае, мы не замечали такого в своей практике. Нет никаких исследований, подтверждающих влияние данного тега на ранжирование. Но тег Description важен по причине того, что может отображаться в поисковой выдаче:

Тег должен быть привлекателен для клика. Вот несколько советов, как сделать Description кликабельнее:

• Перечислите наиболее важные конкурентные преимущества. Нужно понимать, что преимущество “Быстрая доставка” или “Большой опыт” не несут в себе никакой информативности для пользователей. Лучшим вариантом будет: “Доставка до 3х дней”, “Работаем с 2008 года”
• Используйте emoji. Взять их можно отсюда https://emojipedia.org/emoji/. Для CMS Bitrix и WordPress просто скопируйте сам смайлик из левой колонки:

Для ModX из правой

• Используйте в Description основное ключевое слово с топонимом. Они подсвечиваются, делая сайт в выдаче еще привлекательнее

• Теги не должны полностью дублироваться на разных страницах. Однако, если у вас шаблонный Description, в котором меняется только название услуги или товара — это нормально, недопустимо только полное дублирование.

Проверить текущие теги на сайте можно в сервисе https://page-speed.ru/tests/metatags/. Новые Description добавляйте в таблицу из предыдущего пункта.

Теги h1

Данный тег предназначен для основного заголовка страницы и оказывает влияние на ранжирование. Главные правила здесь:

1. Он должен быть на каждой странице
2. Должен кратко отражать содержимое страницы
3. Должен содержать основное ключевое слово, при этом не дублируя тег title.

Проверить тег на страницах можно в сервисе https://sitechecker.pro/ru/h1-tag/. H1 добавляйте в таблицу из пункта о тегах Title.

Теги keywords

Раньше SEO-специалисты использовали этот тег, добавляя туда ключевые слова и запросы, по которым должна ранжироваться страница. Сейчас этот тег больше не влияет на ранжирование и может только снизить релевантность.

Прогоните список важных страниц через сервис https://page-speed.ru/tests/metatags/. Если на какой-либо из страниц теги заполнены — ставим задачу программисту в ТЗ просканировать весь сайт на данные теги и очистить их.

Тексты на сайте

Несколько тезисов по поводу текстов:

• Не должно быть так, что у ваших конкурентов в выдаче на страницах большие описания товаров или услуг, а у вас текста на странице нет. В таком случае шанс попасть в ТОП-10 у вас сильно ниже. Ориентируйтесь на среднее арифметическое количество символов в выдаче при написании текста. Оценить количество символов на можно в сервисе text.ru

• Тексты должны быть полезными для ваших пользователей. Если у вас услуги по организации корпоративных мероприятий, то на странице стоит указать: какие именно программы корпоративных мероприятий вы проводите, что входит в стоимость услуг, портфолио проведенных мероприятий, ответы на часто задаваемые вопросы и так далее.

• Текст не должен быть переспамлен ключевыми словами, должен выглядеть естественно. Каким не должен быть текст:

• Текст должен быть наполнен синонимами, различными вариациями основных ключевых слов, по которым продвигается страница на вашем сайте (LSI-фразы). Чтобы собрать такие слова, воспользуйтесь сервисом https://arsenkin.ru/tools/sp/. Задайте в нем основные ключевые слова, выберите регион и глубину проверки “ТОП-50”. Пример:

 В пункте “Слова, задающие тематику (лемматизированные)” как раз то, что нам нужно. Эти слова нужно лаконично использовать в тексте в любой словоформе, достаточно один раз.

• Текст должен легко восприниматься пользователями. При написании текстов используйте нумерованные и маркированные списки, разбавляйте тексты фотографиями, иконками. Пример плохого текста:

Пример хорошего текста:

Анализ внешних ссылок

Внешние ссылки, их количество и качество — важный фактор ранжирования, особенно в Google. Здесь будем работать с Google Search Console.

Ресурсы, которые на нас ссылаются

Переходим на вкладку “Ссылки”

В пункте “Сайты, ссылающиеся чаще всего” нажимаем на кнопку “Дополнительно”

Просмотрите, какие сайты ссылаются на вас. Не должно быть сайтов тематики 18+, зарубежных и сомнительных ресурсов. Если они есть, фиксируем такие сайты и снова переходим на вкладку “Ссылки”

Далее нажимаем “Экспортировать внешние ссылки”

В выгруженной таблице делаем поиск по зафиксированным ранее доменам и видим все проблемные страницы, с которых ведут ссылки. Фиксируем все такие страницы.
Далее переходим в инструмент от Google, позволяющий отклонить вредоносные ссылки на сайт — Disavow Tools. Все зафиксированные вредоносные ссылки добавляем в обычный .txt файл. Каждая ссылка с новой строки. Загружаем список в Google:

Проверка исходящих ссылок

К сожалению, для проверки этого параметра нет простых и бесплатных инструментов. Если у вас небольшой сайт, вам подойдет инструмент Screaming Frog, бесплатный функционал программы позволяет просканировать не более 500 страниц.

После установки добавляем ссылку на ваш сайт в соответствующее поле, нажимаем “Start”.

После окончания сканирования, переходим на вкладку ”External”

Перед нами список страниц, на которые ссылается проверяемый сайт. Просмотрите список, есть ли там сайты тематики 18+ или зарубежные спамные ресурсы. При клике на страницу из списка вы можете посмотреть, с какой страницы на вашем сайте стоит ссылка таким образом:

Фиксируем все подозрительные ссылки и добавляем в ТЗ разработчику, какие ссылки и с каких страниц необходимо удалить.

Анализ скорости загрузки сайта

Для проверки скорости загрузки используем инструмент Google PageSpeed Insights. Добавляем URL-адрес страницы сайта в соответствующее поле.Показатель “Largest Contentful Paint” не должен превышать 7 секунд. Если сервис показывает более 7 секунд, скроллим страницу страницу до пункта “Оптимизация”

Отмеченные красным цветом пункты разверните и добавьте скриншоты в ТЗ разработчику

Итоговый чек-лист

Индексация сайта:

• Файл robots.txt корректный
• Поисковые системы видят сайт так же, как пользователи
• Задана региональность сайта в Яндекс.Вебмастер
• Файл sitemap.xml присутствует и добавлен в Яндекс.Вебмастер и Google Search Console
• Нет неактуальных тегов noindex на сайте
• В выдаче только одно зеркало сайта
• Редиректы настроены корректно, страницы доступны только по одному адресу
• Важные внутренние ссылки не помечены атрибутом nofollow
• В Яндекс.Вебмастер нет критических или фатальных ошибок
• У сайта есть адаптивная версия, и она отображается корректно на всех экранах
• w3c validator не показывает критических ошибок на сайте

Текстовая оптимизация

• Теги Title прописаны, содержат основное ключевое слово. Слова не повторяются более двух раз
• Тег Description привлекателен для клика
• На всех страницах сайта есть тег h1, он содержит основное ключевое слово
• На сайте нет тегов keywords

Внешняя оптимизация

• Отсутствуют подозрительные сайты, которые ссылаются на нас
• Отсутствуют подозрительные сайты, на которые ссылаемся мы 

Скорость загрузки

• Полная скорость загрузки не превышает 7 секунд

Автоматизированные сервисы по проведению аудита сайта

Также в работе вам могут помочь платные сервисы, которые автоматически проводят аудит сайта:

1. https://pr-cy.ru/analysis/
2. https://ru.megaindex.com 
3. https://saitreport.ru 
4. https://sitechecker.pro/ru/