Как защитить сайт от ботов: советы и рекомендации

По данным Qrator Labs, в 2022-м году на долю вредоносных роботов пришлось около 23% трафика в отечественном интернете. А вот исследование Arkose Labs еще менее утешительное: в 2023-м году более 70% мирового интернет-трафика связано с опасными ботами, которые были особенно активны в сфере технологий, игр, финансов, e-commerce и социальных сетей. Так что волноваться и колдовать над защитой от роботов стоит.

Что такое боты и какие они бывают

Как вы уже могли догадаться, не весь трафик, приходящий на ваш сайт, состоит из “живых” пользователей. Роботы тоже довольно активны в интернете, тем более, что оказываются вредными не всегда. Например, поисковые краулеры — боты “Яндекса” и Google — обходят сайты, чтобы вовремя зафиксировать изменения на них и проиндексировать страницы. А это, в свою очередь, помогает оперативному ранжированию площадок в поисковой выдаче. Кроме того, при работе с разными полезными SEO-инструментами вы можете столкнуться с парсерами, которые дополнительно проверяют веб-ресурсы на разные ошибки оптимизации.

Другие виды ботов не такие дружелюбные. В лучшем случае они просто накручивают трафик и увеличивают нагрузку на сайт, а в худшем — влияют на позиции в поисковиках. Боты для накрутки поведенческих факторов могут быть частью некачественной работы сеошников, которые не брезгуют “черным” продвижением. Бывает и наоборот: роботов нагоняют конкуренты, чтобы ваш сайт вылетел из выдачи, а их сайт поднялся в топе. Иногда это делается, чтобы вы или ваши партнеры слили бюджет впустую из-за скликивания баннеров и фейковых переходов по ссылкам. Наконец, последний случай — обучение кем-то собственных ботов на примере вашего сайта для дальнейших мошеннических действий или для разработки какого-то сервиса/базы данных.

Что умеют боты? Имитировать просмотры и посещения, отправлять массовые запросы, кликать на ссылки и, конечно, спамить. Вообще спам — ссылочный, реферальный, с редиректами, UGC — самый популярный “подарок” от ботов, с которым сталкивался хотя бы раз каждый владелец сайта с формами заявок и обратной связи. Боты могут публиковать бессмысленные, рекламные или негативные комментарии, отправлять фишинговые письма по электронной почте. Такие вещи влияют на репутацию у клиентов, поэтому нужно уделить внимание модерации сайта.

Если попросить GPT написать комментарий к статье от лица спам-бота, она выдаст вот такой ответ. Узнали-согласны?

Хуже всего, когда ботов “нагоняют” с целью что-то украсть или для DDoS-атак. Парсеры (хотя в данном случае их вернее назвать “скрейперы”) могут собирать данные пользователей, воровать тексты, а также находить слабые места на сайте, чтобы хакерам было проще потом его взломать. После взлома на сайте размещаются реклама, ссылки на гемблинговые сайты и так далее. Иногда злоумышленники также создают клоны сайтов, чтобы обмануть доверие пользователей.

Чем опасны боты на сайте

• Ухудшение мониторинга и аналитики. Боты мешают оценивать эффективность стратегии SEO-продвижения, качество сайта и его контента, собственные и партнерские маркетинговые кампании. Вы можете думать, что ваши бесплатные лид-магниты пользуются популярностью, а по рекламных объявлениям переходят каждый час, а в реальности ситуация будет совсем не такой радужной. Из-за таких искажений можно упустить реальную проблему на сайте.
• Снижение позиций. Если у вас на сайте высокий процент отказов, низкие показатели глубины просмотра и проведенного на страницах времени (а боты могут имитировать разное поведение пользователей), поисковая система, скорее всего, сочтет, что площадка не удовлетворяет запросам людей и нужно сместить ее вниз в выдаче.
• Фильтры поисковых систем. Если есть жалобы на спам или выявлена накрутка трафика с помощью ботов, поисковик может совсем выкинуть сайт из выдачи. Тогда придется тратить время, деньги и силы на отмену поисковых санкций. Иногда бывает проще запустить новый сайт.
• Подрыв доверия. Чем чаще на сайте проблемы, тем меньше его любят пользователи. Отношение к площадке может распространиться и на восприятие самого бренда. Например, если у вас с сайта украдут какой-то уникальный контент, будет сложно объяснить целевой аудитории, что экспертный автор — именно вы, а не кто-то другой. А если в обсуждении блоговых статей постоянно спамят рекламой, реальных комментаторов будет всё меньше и меньше.

Как распознать атаку ботов

Мы советуем вам тщательно изучать данные из подключенной к сайту “Яндекс Метрики”. Это помогает, прежде всего, в поиске ботов на браузерных движках. Ищите различные аномалии в показателях и оценивайте динамику в нескольких временных периодах.

• В основном отчете “Метрики” по посетителям есть специальный счетчик. С его помощью можно сравнивать трафик с роботами и без них.

• В отчете “Роботы” можно узнать более подробно, какие боты посещали сайт за последнее время. Так вы сможете исключить полезные краулеры и парсеры из общей картины для дальнейшей аналитики.

• Если процент отказов резко вырос со среднего значения (например, в 15%) до 50-60%, это повод бить тревогу. Исключение, конечно, та ситуация, когда вы сами (или ваши сеошники) вносили какие-то изменения на сайт в последнее время. Плюс не стоит забывать, что не все боты заточены на ухудшение поведенческих факторов. Так что оценивайте и другие метрики тоже: количество заходов, глубину просмотра, соотношение действий и бездействия на сайте, скорость скроллинга и прочее.
• Отслеживайте не только рост трафика, но и его особенности. К примеру, у вас произошел сильный скачок по части просмотра сайта с определенных мобильных устройств. Или изменилась география посетителей: вы занимаетесь локальным продвижением (работаете с “Яндекс Бизнесом” и “Вебвизором”), а у вас есть не только трафик из других российских городов, но и наплыв зарубежных пользователей.
• Просмотрите популярные страницы входа у пользователей за последнее время. Если трафик сильно растет у конкретных разделов сайта, которые вы не рекламируете и даже не продвигаете, или у страниц с ошибками, велика вероятность, что к вам пришли боты.

Обнаружить присутствие ботов на сайте можно и по неприятным последствиям. Если к вам вместо заявок приходит спам, в комментариях на страницах много анонимов с рекламой, а сайт при этом еще и медленно грузится или вовсе падает время от время, вероятно, без ботов не обошлось. То же касается и тех ситуаций, когда у вас очень много кликов/переходов, а конверсия в лиды и продажи нулевая. Если на площадке появляются страницы, которые вы не создавали, если системы аналитики выдают предупреждения (например, “Вебмастер”), если сайт в результатах поиска стал отмечаться как вредоносный — дело также пахнет жареным.

Постфактум об успешной атаке ботов можно узнать, когда поисковик отправит сайт в бан или занизит его позиции в выдаче (и тогда ваш трафик внезапно упадет до минимума). Некоторые SEO-специалисты отмечают, что если на сайте больше 25% трафика идет от ботов, то уже можно нарваться на проблемы от “Гугла” и “Яндекса”. Но лучше, конечно, заниматься мониторингом своевременно и не допускать подобной ситуации.

Основные способы защиты от ботов на сайте

Пользуйтесь инструментами от DDoS-атак

Брандмауэры, межсетевые экраны, списки ACL, CDN, настройка DNS и т. д. Отдельно стоит упомянуть и Web Application Firewall. Это фаервол, то есть набор мониторов и фильтров, ищущих и блокирующих сетевые атаки. Он анализирует поступающие http-запросы, используя сигнатуры, правила, нейросетевое обучение, репутацию IP-адресов и так далее. WAF используют наряду с IPS, но первое позволяет анализировать трафик более тщательно. Не пренебрегайте также генерацией цифровых отпечатков устройств (фингерпринты).

Не игнорируйте антибот-сервисы

Собирая “куки”, вы можете узнать о репутации пользователя, зашедшего на сайт, а защита формы ввода от ботов с помощью капчи усложнит спамерам регистрацию. CAPTCHA бывает разной: от ввода числовых комбинаций и выбора картинок до решения математических уравнений и составления пазлов. При желании можно установить комплексные системы по защите сайта от ботов, которые задействуют сразу несколько инструментов. Это, например, сервис от Botfaqtor, Antibot.cloud, CloudFlare, Incapsula и так далее.

Один из самых популярных сервисов капчи был придуман Google

Ищите дополнительные модули

Для некоторых CMS, например, WordPress, актуальна установка специальных плагинов для регистрации действий на сайте и более тщательного управления контентом. Однако помните, что такие расширения надо вовремя обновлять, а загружать только из проверенных источников. Вообще разработчики LZ.Media советуют регулярно обновлять CMS, чтобы избежать уязвимостей на сайте, которыми обычно пользуются боты.

Добавляйте Hidden-поля

Скрытые поля при создании учетной записи помогают для защиты форм от спам-ботов. Обычный человек увидит на сайте только два поля для ввода данных. Например, имя и номер телефона. А вот робот, который сканирует код, а не внешний вид страницы, распознает еще и третье поле. Допустим, e-mail. Бот заполнит и отправит все поля, что подаст сигнал не получать от него данные или заблокировать. Впрочем, некоторые боты сразу отправляют несколько сообщений на сервер, оставляя часть полей пустыми, и обходят таким образом проверку.

Используйте ханипоты

Ловушки для ботов подразумевают, что в html-код будет вписана специальная приманка. Она имеет намеренную уязвимость и выдается парсеру в ответ на запрос и автоматически закрывает доступ к сайту при открытии. Это может быть фейковая веб-страница или ссылка. Реальный же пользователь не увидит ханипот благодаря CSS.

Усложните аутентификацию

Для защиты от роботов на сайте предложите пользователям дополнительно подтверждать регистрацию или даже вход в личный кабинет. Это можно сделать с помощью кода проверки, который придет на телефон либо электронную почту. Для ботов это будет слишком сложная цепочка действий, так что они отсеются. Минус, правда, в том, что какую-то часть реальных посетителей, которые не захотят так заморачиваться, вы тоже потеряете.

Оперативно сканируйте сайт

Специальные анализаторы типа Screaming Frog или Xenu помогут найти вредоносные ссылки, измененные мета-теги, новые страницы и прочее. Вручную тоже можно проводить проверки: подключитесь по FTP к сайту и просмотрите папки либо используйте инструменты разработчика для просмотра кода.

Записывайте логи

По логам сервера с помощью текстового файла access.log можно изучить трафик и вычислить количество ботов, а также их IP-адреса. Также данные о пользователях (например, регион и часовой пояс) вам поможет собрать JavaScript. Вычислив, кто из посетителей является парсером, можно смело блокировать IP-адрес. Сделать это можно с помощью установки правил для отдельных пользовательских агентов (User Agent) в файлах .htaccess и robots.txt. Но имейте в виду, что боты часто пользуются сетью прокси для распределенного парсинга, так что изучайте еще и сами запросы. Проводите блокировку осторожно: вы можете случайно ограничить доступ к сайту простым пользователям или поисковым краулерам.

Если атака ботами уже случилась, главное, не сидеть сложа руки. Чтобы вернуться к прежней версии сайта, можно воспользоваться резервной копией и мгновенным восстановлением бэкапа. Но если атака была многомесячной, то, скорее всего, уязвимости на сайте сильные и все копии уже скомпрометированы. Так что полезнее проанализировать (можно даже вручную, если сайт небольшой) все страницы на предмет вредоносного кода, редиректов, спамного контента: реклама + ссылки. Прежде всего, эту работу надо проделать со страницами, которые имеют хорошие позиции в выдаче и стабильно приносят трафик. Тогда вы сможете быстро реабилитироваться в глазах поисковых систем. Удачи!