Бот-фильтрация и защита лендов от скрейпинга

Боты в арбитраже — это не абстрактная угроза. Они съедают бюджет на кликовых моделях, размывают CR так, что хорошая связка выглядит плохой, а парсеры копируют ленды и связки целиком. При этом грубая защита опаснее самих ботов: заблокируйте по ошибке поискового робота — и потеряете индексацию своих сайтов; заблокируйте мобильного оператора — и потеряете живых людей.

В этой статье — как отличать ботов от людей, что с ними безопасно делать и как не навредить себе. Речь только о легальной защите: о фильтрации мусорного трафика и скрейперов. Обход модерации рекламных сетей — подмена контента для проверяющих — это нарушение правил площадок, и такой функции в inotrack нет: контент для проверяющих рекламных систем не подменяется, списков «модераторов» в продукте нет.

Какие боты встречаются

• Поисковые роботы — Googlebot, YandexBot, Bingbot. Их нужно пропускать всегда.
• Скрипты и HTTP-библиотеки — curl, python-requests, Go-клиенты, Scrapy. Обычно это парсеры и проверялки.
• Headless-браузеры — Puppeteer, Playwright, Selenium. Выглядят почти как люди, но выдают себя деталями.
• Трафик из датацентров — запросы с облачных серверов, где живых пользователей почти нет.
• Фрод в источниках — накрученные клики в пуш- и попандер-сетях, часто из одних и тех же зон.
• Подделки под поисковики — бот пишет в User-Agent «Googlebot», рассчитывая, что его не тронут.

Сигналы детекта

Ни один сигнал сам по себе не надёжен, поэтому трекер собирает несколько и складывает их в оценку.

Списки адресов

inotrack сверяет IP посетителя со списками: диапазоны поисковых краулеров по официальным фидам Google и Bing, диапазоны облачных провайдеров, выходные узлы Tor. Фиды обновляются по расписанию, раз в сутки по умолчанию; администратор может подключить свои списки. Отдельно ведётся список ASN датацентров — AWS, Google Cloud, Azure, Hetzner, OVH, DigitalOcean и других.

Важная тонкость: в некоторых ASN живут и люди — например, пользователи VPN-сервисов и приватных релеев крупных компаний. Такие ASN считаются слабым сигналом и сами по себе не делают посетителя ботом.

User-Agent

Трекер распознаёт маркеры headless-браузеров, HTTP-библиотек и сканеров, строки, которые вообще не похожи на браузер, и сильно устаревшие версии Chrome и Firefox.

Проверка поисковиков по rDNS

Если User-Agent заявляет «я Googlebot», трекер делает обратный DNS-запрос по IP, проверяет, что имя хоста принадлежит домену поисковика (googlebot.com, google.com, search.msn.com, yandex.ru, yandex.net, yandex.com), и затем прямым запросом убеждается, что это имя указывает на тот же IP. Это стандартный способ проверки, который рекомендуют сами поисковики. Результат кешируется на сутки.

Если проверка не прошла, это не поисковик, а подделка — и это сильный сигнал бота.

JS-отпечаток

Браузер отправляет трекеру небольшой набор технических параметров: хеши canvas и WebGL, размер экрана, часовой пояс, язык, платформу и признак navigator.webdriver. Нулевой размер экрана, отсутствие canvas и WebGL или включённый webdriver — характерные признаки автоматизации.

Частота и метки

Трекер считает запросы с одного IP и одной подсети за минуту. Отдельно проверяются sub-метки: неподставленный макрос вроде {sub1}, длинная случайная строка, одно и то же значение в трёх и более sub — так часто выглядит накрученный трафик.

Как сигналы складываются

Сильные сигналы — headless-браузер, HTTP-библиотека, пустой или небраузерный User-Agent, поддельный поисковик, IP датацентра или прокси — сразу дают вердикт «бот». Слабые суммируются. Сигналы приватности (релей, бедный отпечаток, пустой referer) ограничены по весу так, что не могут сделать посетителя ботом в одиночку: человек с VPN и блокировщиком трекеров остаётся человеком.

Правило номер один: поисковики проходят всегда

В inotrack подтверждённый по rDNS поисковый краулер проходит раньше любых правил — это жёсткое правило в коде, его нельзя перекрыть настройками. Даже если вы включите самый строгий пресет, Googlebot и YandexBot не получат заглушку, а ваши сайты не выпадут из индекса.

Что показать боту

Блокировать «в лоб» не всегда лучшая идея: бот, получивший 403, понимает, что его заметили, и меняет тактику. Поэтому у правил несколько вариантов ответа:

• Блок — 403.
• Пустой ответ — 200 без содержимого.
• Заглушка — нейтральная страница с заголовком X-Robots-Tag: noindex, nofollow, чтобы она не попала в поиск. Текст заглушки можно задать свой для каждого сайта или потока.
• Челлендж — страница с проверкой proof-of-work: браузер решает вычислительную задачу и получает подписанную cookie. Сложность настраивается (по умолчанию — 14 нулевых бит хеша), а скрипт без JavaScript такую проверку не пройдёт.
• 429 — ответ «слишком много запросов» с просьбой повторить позже.

Правила

Правило срабатывает по условиям: регулярка по User-Agent, IP или подсеть, ASN, referer, гео или вердикт детектора (любой бот, датацентр, прокси, headless и так далее). Все заданные условия должны совпасть одновременно. Правило действует глобально или на конкретный поток, а порядок задаётся приоритетом. У правила потока проверьте флажок срабатывания на клик-пути: в старых правилах он может быть выключен.

Чтобы не собирать правила с нуля, есть три пресета:

• «Мягкий» — датацентры и headless-браузеры;
• «Пуш/попс-фрод» — датацентры, прокси, headless и поведенческие сигналы;
• «Жёсткий антибот» — любой неподтверждённый бот.

Сначала dry-run

Перед запуском трафика решение можно проверить пробным запросом (dry-run): указываете User-Agent, IP и другие параметры, и трекер показывает, какое правило сработает и что получит посетитель, ничего не записывая. Прогоните так типичных живых пользователей — например, сотрудника компании, который выходит в интернет через корпоративный VPN в облаке, — и убедитесь, что они проходят.

Автоблок зон

В пуш- и попандер-трафике боты обычно сосредоточены в конкретных зонах. inotrack считает долю ботов по sub1 каждого источника: если за час в зоне набралось не меньше 200 кликов и доля ботов достигла 60%, зона помечается. По умолчанию трекер только уведомляет, но можно включить и автоматическую блокировку — по умолчанию на неделю. Блеклист зоны отсекает весь её трафик, поэтому режим уведомлений — разумный старт.

Отчёт «кто скрейпит»

Заблокированные запросы попадают в отчёт с разбивкой по ASN, префиксу IP, User-Agent, причине и действию. По нему видно, откуда приходят парсеры, и можно точечно усилить правила — например, закрыть конкретный ASN челленджем, не трогая остальной трафик.

Как защитить ленды

Защита в inotrack работает на клик-пути — на трекинговой ссылке, через которую посетитель попадает на ленд. Правила срабатывают до того, как посетитель получит адрес ленда, поэтому бот, отсеянный фильтром, ленда просто не увидит. Отсюда несколько практических правил:

1. Не публикуйте прямые адреса лендов. В рекламу и в кабинеты источников отдавайте трекинговую ссылку потока, а не URL ленда. Ленды можно хостить прямо в трекере — подробнее на странице лендов и воронок.
2. Закройте лишнее от индексации. Служебные страницы и заглушки не должны попадать в поиск — для заглушки трекер сам ставит noindex.
3. Включите уникальность. Поток проверяет уникальность клика по IP, User-Agent и языку браузера на выбранном окне — сутки, кампания или всё время. Повторные клики можно отправлять на запасную ветку, а не на оффер: парсер, который обходит ленд по кругу, получит не то, что искал.
4. Смотрите на зоны и ASN. Отчёт «кто скрейпит» подскажет, кого стоит встречать челленджем.
5. Не ломайте SEO. Если у вас SEO-сайты, не закрывайте их от поисковиков — на трекинговых ссылках проверенные краулеры трекер пропустит сам, но сами сайты антибот трекера не фильтрует — правила на стороне веб-сервера настраиваются отдельно. О сетке сайтов — на странице SEO.

Чего не делать

• Не блокируйте по одному слабому признаку. Пустой referer, VPN или блокировщик рекламы встречаются у обычных людей. Фильтр, который режет их, режет и конверсии.
• Не закрывайте целые страны и ASN без проверки. Сначала отчёт по ботам и пробные запросы, потом правило.
• Не показывайте проверяющим рекламных сетей другой контент. Это нарушение правил площадок, ведущее к блокировке аккаунтов. Антибот нужен, чтобы не платить за мусорный трафик и не отдавать ленды парсерам, а не чтобы прятать от модерации то, что показывается пользователям.
• Не полагайтесь только на robots.txt. Добросовестные роботы его соблюдают, а парсеры — нет. Он нужен для поисковиков, а не для защиты.

Чек-лист запуска

• Выбран пресет, подходящий источнику: «Мягкий» для поиска и соцсетей, «Пуш/попс-фрод» для пушей и попандеров.
• Правило проверено пробными запросами (dry-run), типичные живые пользователи под него не попадают.
• Выбран ответ боту: заглушка или челлендж вместо 403, если не хотите, чтобы бот понял, что его заметили.
• Автоблок зон включён в режиме уведомлений.
• Раз в неделю — взгляд на отчёт «кто скрейпит».

Все эти настройки собраны на странице антибота. А как отличить ботов от людей в статистике и учесть их при расчёте ROI — в статье о сквозной аналитике расходов.