«Ну такого не бывает».
Четверть визитов пришла из Safari под Windows. Apple перестала выпускать Safari для Windows в 2012 году. С этой детали началось одно из расследований, которые мы провели с AI-агентом StreamMyData. Рассказываю, что он нашёл, и заодно — каким, на мой взгляд, должен быть AI-агент, чтобы ему можно было доверять.
Кейс анонимный, как и в оригинале на сайте StreamMyData: клиент — федеральный производитель в строительном сегменте, подрядчик не называется. Этот же кейс я коротко показывал на ПМФ, здесь — подробно.
Что мы строим
Внутри StreamMyData мы с командой делаем AI-агента для управления маркетингом. Он подключён к данным клиента — рекламным кабинетам, Метрике, CRM — и отвечает на вопросы о них словами, а не выгрузками. Одна из его функций — искать в трафике то, что не похоже на живых людей.
Слишком хорошие отчёты
Клиент оценивал рекламных подрядчиков по поведенческим метрикам: времени на сайте и глубине просмотра. Прежний подрядчик не выполнил KPI, клиент перешёл к новому. Новый запустил три баннерных CPC-источника — назовём их A, B и C, — и через пару недель отчёты стали образцовыми: 2,4 страницы за визит, 2 минуты 25 секунд на сайте, отказов почти нет.
У трёх разных рекламных сетей разные площадки и аудитории, их метрики обычно расходятся. Здесь они совпадали до десятых. Команда написала агенту одно сообщение, которое заканчивалось словами «ну такого не бывает».
Источники нового подрядчика (A, B, C)Остальной трафик сайта
Восемь минут работы агента
Дальше агент провёл расследование за 8 минут 4 секунды и 48 запросов к данным. Без него это выгрузка сырых данных Метрики, склейка 279 тысяч хитов с визитами и десятки SQL-запросов вручную. Что он нашёл:
- Каждый визит — новый человек. 80 215 clientID на 80 216 визитов: за две недели повторно зашёл один посетитель. 99,99% визитов новых пользователей — без реферера, в остальном трафике таких 65,3%.
- Четыре шаблона устройств на 80 тысяч визитов. С одинаковыми долями во всех трёх источниках. Четверть — Safari под Windows, а мобильный Safari, главный браузер iPhone, почти не встречается.
- Цели по расписанию. Первая цель срабатывала ровно на 30-й секунде визита в 72% случаев — одинаково у всех трёх сетей.
- Общая сеть. Общий пул IP-префиксов у трёх источников, одинаковые пачки визитов в одни и те же минуты.
Вывод агента: три рекламных источника — это один искусственный поток визитов под тремя метками. Агент собрал доказательную базу и подготовил обращение в антифрод Яндекса.
Каким должен быть агент, которому можно доверять
В этом кейсе мне важны не столько сами улики, сколько то, как агент работал. Это ровно те принципы, которые мы закладываем в продукт.
- Сам говорит, чего ему не хватает. Дважды за расследование агент попросил подключить новые данные — хиты, IP-адреса, UTM-метки — и объяснил, зачем они нужны для доказательства.
- Отделяет факты от гипотез. Агент отдельно перечислил, что можно утверждать уверенно, что нельзя и каких данных не хватает. Какая именно цель срабатывает на 30-й секунде, он предложил уточнить, а не додумал.
- Доводит до действия. Не «вот вам графики», а готовое обращение в антифрод Яндекса и короткая версия для формы.
- Прозрачен. Каждый из 48 запросов можно открыть и проверить руками. Агент ищет — человек решает.
Урок для собственника
Если платить подрядчику за метрику, вы получите метрику. Клиент оценивал рекламу по времени на сайте — и время на сайте стало идеальным. Поведенческие KPI полезны, но только вместе с деньгами: заявками, продажами и проверкой качества трафика. А совпадение метрик у разных источников до десятых — это не успех, а повод проверить.
Полный разбор кейса со всеми уликами на сайте StreamMyData ↗