Боты (автоматизированные программы) могут взаимодействовать с поисковой выдачей Яндекса (SERP), что иногда приводит к нецелевым кликам в рекламных кампаниях и перерасходу бюджета. Какие меры можно применить по защите от этого явления.
Вначале немного теории, чтобы все понимали о чем идет речь.
SERP Яндекса — это страница результатов поиска (Search Engine Results Page), которую пользователь видит после ввода запроса в поисковую систему Яндекс.
Из чего состоит SERP Яндекса?
1. Органические результаты – стандартные результаты, ранжируемые по релевантности.
2. Контекстная реклама (Директ) – платные объявления вверху и внизу страницы.
3. Специальные блоки (фрагменты) – быстрые ответы, карточки товаров, погода, карты, видео и т. д.
4. Колдунщики – динамические блоки (например, калькуляторы, расписания, спорт).
5. Картинки и другие вертикали – отдельные вкладки (Видео, Новости, Маркет) и др.
Что такое бот. Бот (англ. bot, сокращение от чеш. robot) — это программа, выполняющая автоматические повторяющиеся действия (скрипты). За счёт автоматизации боты намного быстрее пользователей выполняют заранее настроенные повторяющиеся задачи. Боты обычно заменяют или имитируют поведение пользователей.
Что такое плохой бот. Плохие боты — это программные приложения, выполняющие автоматизированные задачи для целей, противоречащим целям владельца ресурса. Они несанкционированно парсят, то есть собирают авторский контент и данные с сайтов, чтобы переиспользовать их или получить конкурентные преимущества.
Скорость работы сайта. Почти каждый владелец сайта сталкивается с активностью ботов на своем сайте. Активность ботов известных поисковых систем обычно не создает существенной нагрузки и не сильно влияет на скорость работы сайта.
Однако есть и другие боты, например DotBot или Semrush и многие другие. Наши клиенты сталкивались с тем, что эти боты отправляли настолько много запросов на сайт, что это было подобно эффекту небольшой DDoS-атаки. Это приводило к большой нагрузке на сайт и сервер, и недоступности сайта для других посетителей.
Боты могут взаимодействовать с поисковой выдачей Яндекса (SERP), что приводит к нецелевым кликам в рекламных кампаниях и перерасходу (сливу) бюджета.
Какие боты могут кликать по рекламе в Яндексе?
- Поисковые роботы (краулеры Яндекса, Google и др.) – обычно не кликают по объявлениям, но могут их сканировать.
- Мониторинговые боты (сервисы аналитики, парсеры) – проверяют позиции в Директе, иногда имитируют клики.
- Мошеннические боты (кликеры, фрод-боты) – накручивают клики для слива бюджета конкурентов.
- Браузерные автоматизаторы (Selenium, Puppeteer и др.) – могут случайно кликать при парсинге выдачи.
Как боты влияют на рекламный бюджет?
- Ложные клики – боты имитируют поведение пользователей, увеличивая расходы (часто).
- Снижение эффективности – CTR и конверсии падают из-за нерелевантных переходов (часто).
- Риск блокировки – Яндекс может посчитать аномалии за накрутку и заблокировать кампанию (редко).
Будь боты только зловредными, их можно было бы просто блокировать. Но, помимо плохих, злых ботов, используемых злоумышленниками, существует множество полезных или, по крайней мере, нейтральных, которые никакой угрозы пользователям и интернет-ресурсам. И это обстоятельство заметно усложняет защиту от ботов-вредителей. Но она есть! Пусть и не 100% и конечно не спасет от продвинутых фулстек-ботов где используется широкий набор методов маскировки и оперативной адаптации ботнетов под антибот-системы.
Вот актуальный список User-Agent известных основных нежелательных ботов (парсеров, сканеров, агрегаторов и фрод-ботов) на 2024-2025 год:
1. SEO-парсеры и агрегаторы:
- AhrefsBot (Ahrefs)
- SemrushBot (Semrush)
- MJ12bot (Majestic)
- DotBot (DotNetDotCom)
- Seekport (Seekport Crawler)
- ZoominfoBot (ZoomInfo)
- DataForSeoBot (DataForSEO)
- SerpstatBot (Serpstat)
- MegaIndex.ru (мегаиндекс)
- Barkrowler (Bark)
2. Агрессивные сканеры и фрод-боты:
- CCBot (Common Crawl)
- PetalBot (Huawei)
- BLEXBot (Webmeup)
- Scrapy (Python-парсер)
- Screaming Frog SEO Spider
- Nimbostratus-Bot (Cloudflare-сканер)
- Python-urllib (простые парсеры)
- Go-http-client (Golang-боты)
- Java/1.8 (Java-боты)
3. Боты для копирования контента:
- CopyRightCheck
- SISTRIX
- rogerbot (Moz)
- LinkpadBot (Linkpad)
4. Боты-кликеры и DDoS:
- Bytespider (ByteDance)
- DuckDuckBot (редко, но бывает агрессивным)
- ia_archiver (Archive.org, может нагружать сервер)
5. Боты с подозрительными User-Agent:
- Пустые User-Agent
- "$", "-", "*" (мусорные агенты)
- Mozilla/5.0 (compatible; RigorBot)
Немногие из них скликивают ваш бюджет (но и это много и затратно), но все так или иначе создают ту или иную нежелательную нагрузку на ваш сайт!
Подробнее почитать о каждом можно по ссылке.
Как защититься от ботов в Яндекс.Директе?
Настройки рекламной кампании:
- Исключить мобильные приложения (если нецелевые клики идут оттуда).
- Включить "Рекомендуемый бюджет" – система сама оптимизирует ставки.
- Использовать "Умное управление" – алгоритмы Яндекса лучше фильтруют ботов.
Анализ трафика:
Яндекс.Метрика + Директ – смотреть на:
- Высокий CTR с низкой конверсией - возможны боты.
- Странные гео-источники (например, клики из регионов, где нет ЦА).
- Подозрительные устройства и браузеры (старые версии, нестандартные ОС).
Технические методы:
CAPTCHA на лендинге – отсеивает простых ботов.
Фильтрация IP-адресов (если известны бот-сети).
Скрипты антифрода (например, JS-проверки на реального пользователя).
Работа с поддержкой Яндекса:
Если подозреваете фрод – можно запросить проверку и вернуть часть бюджета (очень малый возврат, по опыту).
Боты могут искажать статистику и повышать расходы в Директе. Чтобы минимизировать их влияние, важно:
1. Анализировать трафик (Метрика + Вебвизор).
2. Использовать автоматические защиты от Яндекса.
3. Настраивать таргетинг (исключать подозрительные источники).
Если у вас есть подозрения на ботов – проверьте логи и обратитесь в поддержку.
Как выявить скликивание в Яндекс Директ
Определить нечестные клики можно с помощью анализа статистики и поведения пользователей.
- Резкий рост кликов без увеличения заявок – если CTR высокий, а конверсий нет, это может быть скликивание.
- Аномально короткое время на сайте – если пользователи заходят и сразу уходят, это признак ботов.
- Частые клики с одних и тех же IP-адресов – подозрительно активные пользователи могут быть ботами.
- Неестественная активность в определённое время – всплески кликов в ночное время часто связаны со скриптами.
Если бюджет расходуется слишком быстро, но заявок нет, стоит проверить кампанию на признаки скликивания.
Если вы разбирайтесь, то можно сделать блокировку большинства ботов самому. Об этом расскажу ниже.
Блокировка ботов на хостинге
На многих хостингах есть поддержка правил вебсервера Apache. Если вы размещаетесь на таком хостинге (чаще всего это именно так), то перейдите в каталог с сайтом.
Найдите файл .htaccess. Добавьте в начало файла следующие строки:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GeedoProductSearch|GPTBot|GeedoBot|Amazonbot|Bytespider|SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|AhrefsBot|bingbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|Seekport|ZoominfoBot|BLEXBot|DataForSeoBot|SerpstatBot|CCBot|PetalBot|Barkrowler|Scrapy|Nimbostratus-Bot|Python-urllib|Go-http-client|CopyRightCheck|SISTRIX|rogerbot|LinkpadBot|Bytespider|DuckDuckBot|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|thesis-research-bot|fidget-spinner-bot|facebookexternalhit|GPTBot) [NC]
RewriteRule .* - [F,L]
Пояснение:
- (AhrefsBot|SemrushBot|...) – список ботов, которых нужно блокировать (можно добавить свои).
- [NC] – регистронезависимый поиск.
- [F,L] – возвращает код 403 (Forbidden) и останавливает обработку правил.
В этом же файле можно внести еще Запрет доступа для пустых User-Agent (это часто боты):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^(-|\.|') [NC]
RewriteRule ^.* - [F,L]
Перед изменениями сделайте резервную копию .htaccess.
Важно!
- Googlebot, Bingbot, YandexBot — не блокируйте их, если хотите оставаться в поисковой выдаче!
- Некоторые боты (например, CCBot) могут быть полезны (индексация для архивов).
- Перед блокировкой проверяйте логи, чтобы не заблокировать легитимных ботов.
Так же можно заблокировать через через robots.txt:
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
Но это менее эффективно и более трудоемко. Так же как и блокировка по IP.
На уровне сервера (Nginx) примерно так:
if ($http_user_agent ~* (AhrefsBot|SemrushBot|MJ12bot)) {
return 403;
}
Напоследок...
Как защитить рекламу от скликивания
Чтобы минимизировать потери бюджета, важно использовать все доступные методы защиты.
- Настроить ограничение показов на одного пользователя – уменьшит вероятность повторных кликов с одного IP.
- Использовать отчёты в Метрике – анализируйте источники трафика и отключайте подозрительные площадки.
- Добавить минус-регионы – если клики идут из стран или городов, где у вас нет клиентов, их можно исключить.
- Запретить показы по мобильным приложениям – часто они генерируют некачественный трафик.
- Настроить список исключённых IP-адресов – если вы заметили подозрительную активность, блокируйте IP.
Если использовать все эти методы, можно значительно снизить риск потерь бюджета из-за мошеннических кликов.
Как Яндекс Директ борется со скликиванием
Яндекс Директ использует автоматические алгоритмы, которые фильтруют подозрительные клики и возвращают рекламодателям деньги за некачественные показы.
- Система антифрода Яндекса – анализирует поведение пользователей и определяет неестественные клики.
- Фильтрация ботов – автоматически блокирует подозрительный трафик.
- Возврат списанных средств – если Яндекс определяет клик как мошеннический, деньги возвращаются рекламодателю.
Несмотря на эти меры со стороны Яндекс (явно недостаточные!!!!!), скликивание происходит и чем дальше, тем больше, поэтому важно дополнительно контролировать трафик и настройки вручную. Обязательно установите фаервол на CMS и заблокируйте ботов как написано выше. Это минимум. Если у вас большие рекламные бюджеты, то возможно имеет смысл и подключения специализированных сервисов (как пример, лично не пробовал!).
