Метод детектирования ботового трафика

Дата . Автор

Боты

Знаете ли вы, что владельцы площадок, на которых вы размещаете рекламу, скликивают её? На некоторых форумах можно даже найти специальные услуги по скликиванию рекламы. Не честные веб-мастера есть практических во всех системах, работающим по модели «CPC».

Для этого часто используются специальные программы-боты. В последнее время они сильно усовершенствовались. Сейчас такие боты не только переходят по рекламе, но и эмулируют последующее поведение пользователей: ходят по ссылкам, проводят какое-то время на сайте.

Сегодня я расскажу о простой и эффективной методике отлова некачественного накрученного ботового трафика. Методика достаточно проста и не требует знаний в программировании. Это позволит вам составить свой «чёрный список» площадок, сократить траты на бот-трафик, достигать большей конверсии и меньшей стоимости заказа.

 

Суть метода:

На все страницы сайта устанавливается скрытый блок с нескольким десятком внутренних ссылок с уникальными URL. Ссылки ведут на специальную страницу-заглушку. Пользователи не видят эти ссылки. А роботы видят. Если трафик с площадки осуществляет переходы по скрытым ссылкам – это плохая площадка, она ведёт бот-трафик. Ставим URL’овую цель – переход на страницу и отслеживаем ботов.

Метод можно применить к контекстным, тизерным и другим сетям.

 

По шагам (пример реализации / ТЗ для программиста):

  1. В корень сайта устанавливаем файл badtraf.html. Страница должна отдавать HTTP-код 200 ОК, содержать счётчик системы статистики и мета тег:

    2. <meta name="robots" content="noindex" />

  2. На все страницы сайта устанавливаем скрытый код со 100 ссылками на страницу badtraf.html. Каждая ссылка должна содержать уникальный GET-параметр. Пример кода:

    3. <!––код для отлова бoтового тpaфика––><!––noindex––>
    <style type="text/css">.badtraf {display: none;}</style>
    <div class="badtraf">
     <ol>
      <li><a href="/badtraf.html?1">1</a></li>
      <li><a href="/badtraf.html?2">2</a></li>
      <li><a href="/badtraf.html?3">3</a></li>
    …
    …
    …
      <li><a href="/badtraf.html?98">98</a></li>
      <li><a href="/badtraf.html?99">99</a></li>
      <li><a href="/badtraf.html?100">100</a></li>
     </ol>
    </div>
    <!––/noindex––><!––/код для отлова бoтового тpaфика––>
  3. Ставим URL’овую цель в Яндекс.Метрике на переход на страницу-заглушку:

    4. УРЛовая цель в Метрике

  4. По мере накопления статистики по переходам с площадок, смотрим отчёт по площадкам в срезе по выполненным целям.

    5. Цель Бот

  5. Делаем выводы. Отключаем площадки с «ботовым» трафиком.

    6.  

    Примечания:

    1. Блок со ссылками лучше ставить временно, чтобы не нарушать ссылочную структуру, перелинковку сайта. Если он вас смущает, то можете настроить вывод блока только для тех пользователей, которые приходят с определённых источников. Например, если сессия пользователя на сайте начинается с URL, содержащего utm_medium=cpc;
    2. Лучше не использовать на ссылках атрибут rel="nofollow", не закрывать страницу-заглушку в robots.txt и не использовать серверные редиректы. Некоторых роботов-накрутчиков это может остановить и они не смогут перейти на страницу-заглушку;
    3. Ссылки в блоке должны иметь разные URL, т.к. некоторые роботы «склеивают» ссылки с одинаковым URL. Для того, чтобы не делать 100 страниц-заглушек, в ссылках специально установлены GET-параметры чтобы сделать URL-страницы уникальными;
    4. Количество ссылок в блоке зависит от количества ссылок в меню сайта. Для лендинга можно поставить и 1 ссылку. Для интернет-магазина оптимальное количество ссылок – 100. Часто роботы-накрутчики переходят по рандомно выбранной ссылке;
    5. Не ставьте событийную цель. Роботы переходят по ссылкам не как люди. Для перехода по ссылкам они анализируют код и содержимое атрибута href="" тега <a>. Таким образом, например, JavaScript событие onclick они не выполнят. URL’овая цель – верный вариант;
    6. Некоторые площадки с «ботовым» трафиком могут быть всё же эффективными и приводить к конверсиям. Поэтому, прежде чем отключить площадку, старайтесь оценивать трафик с неё и с точки зрения экономической эффективности.

    Примеры кода в самом простом варианте вы можете посмотреть в архиве.

    Методику можно сильно развивать, дорабатывать и применять в других областях. Надеюсь, такая схема антибота на сайте поможет вам избавиться от бот-трафика. Удачи! 🙂

     

    rustem

    Рустем Фахрутдинов
    Директор по производству фирмы «Тактика»