40% трафика РБК не генерируют боты; Botscanner опроверг свою оценку трафика

Развитие событий: «Утро.ру» обратилось в BotScanner, чтобы проанализировать свой трафик — ничего криминального (27 октября 2016)

Обновлено в 19:20:

Борис Базанов (Botscanner) признал, что допустил ошибку, отвечая на вопрос сотрудницы Infox:

Мы приносим искренние извинения партнерам из РБК за это недоразумение. В ходе конференции мы крайне некорректно ответили на вопрос СМИ об источниках бот-трафика в Рунете, не опровергнув навязанный вопросом тезис о том, что такой трафик есть у сайта РБК. Наше исследование подтверждает премиальность аудитории и сайта РБК, о чем свидетельствует один из самых "чистых" трафиков в Рунете".

Николай Молибог, РБК, Борис Базанов Botscanner, 15 минут славы

Исходный текст новости:

Около 40% трафика в Рунете генерируется ботами, заявил директор по продажам компании Botscanner Борис Базанов на конференции MediaUp в конце февраля этого года. В том числе, такое же соотношение реальных посетителей и автоматически сгенерированных заходов наблюдается на ресурсах медиахолдинга РБК, с которым сотрудничает Botscanner, уточнил Базанов (его выступление начинается на отметке 46 мин 30 сек в видео).

По словам Базанова, проблема несоответствия заявленных показателей рекламных площадок и их реальной аудитории - проблема большинства крупных игроков в российском сегменте сети, однако случаи, когда площадки удавалось поймать за руку остаются единичными. При этом многие ресурсы сами ведут мониторинг собственного трафика, чтобы отсеивать "левые" показы и обеспечить прозрачную систему расчетов с рекламодателями, в том числе подобный мониторинг заказала РБК.

Гендиректор РБК Николай Молибог порекомендовал Botscanner-у "отвечать за базар":

На roem.ru разместили материал про якобы 40% ботов трафика на rbc.ru со ссылкой на выступление какого-то менеджера компании Botscanner. За базар надо отвечать, поэтому вот сертификат, подтверждающий качества трафика на rbc.ru за подписью генерального директора Botscanner. Пусть менеджер с генеральным директором теперь сами выясняют кто из них прав.

Наталья Кутушева из Infox в ходе конференции MediaUp спросила Базанова, правильно ли она поняла, что когда говорится о 40% трафика, генерируемого ботами, речь идет в том числе и о РБК. Базанов ответил, что да и уточнил, что речь идет в основном о трафике, поступающем на ресурсы РБК из сторонних источников.

Пресс-секретарь РБК Егор Тимофеев не согласен с оценками менеджера Botscanner:

Мы считаем, что боты – это не очень полезная для медиа практика, несмотря на то, что понимаем, почему к ней прибегают СМИ, стремясь повысить свою популярность. Что касается РБК, то мы отвечаем за качество производимого контента, и популярность наших медийных продуктов у аудитории доказывает тот факт, что хороший контент не нуждается в поддержке искусственно сгенерированных заходов. Качество нашего траффика также подтверждает сертификат, выданный компанией Botscanner с подписью генерального директора Александра Шишова. Botscanner проводил мониторинг rbc.ru в 4-м квартале 2015 года, по итогам анализа РБК был присвоен высокий рейтинг «А» (на 21% выше среднего уровня в СМИ), а наличие ботов не подтвердилось. Может быть, директор по продажам Botscanner Борис Базанов перепутал нас с кем-то из медийных конкурентов? Мы отправили Botscanner запрос, чтобы выяснить, что их представитель имел в виду, и почему его слова противоречат сертификату, сказал Тимофеев.

Одним из недавних скандалов, связанных с сомнительным трафиком, стала история с онлайн-кинотеатром TVZavr. Читатель vc.ru сообщил изданию, что «онлайн-кинотеатр TVZavr получает миллионы просмотров по счетчику Liveinternet благодаря встроенным в файлообменники iframe».

Лучшие комментарии

  • Контекст комментария

    Alexander Shishow

    40% трафика РБК генерируют боты» — ну это не совсем так, коллеги…

    У РБК трафик куда лучше среднего по Рунету. Я на протяжении года видел, как они работают над качеством трафа. Проблемные каналы чистятся, фейк рубится постепенно. В Рунете куча новостного трафика ресейлится туда-сюда, если где-то затесались фродеры — их постепенно прибивают. И кстати, РБК относится к этому тщательнее, чем многие.

    Сам я уже не работаю в BotScanner-e, но всегда могу помочь с качеством трафика тем, кому это нужно — и мои коллеги из BS тоже готовы продолжать это делать. Насколько я знаю, у BS продолжается сотрудничество и с РБК, и планируется мониторинг качества непосредственно у поставщиков их трафика. Главное, чтобы эта тенденция развивалась — больше усилий, чище траф. Плохие источники наказываем, хорошие поощряем, и всё будет ОК. Главное не перепутать- а для этого как раз и пригодится BotScanner :)

    Я отписал про ситуацию с трафом у себя в фб — да, в целом в Рунете фрода становится резко больше. Кризис, то сё. Опять же, ПФ крутить стало куда сложнее. У Бориса всё это звучало в докладе.

  • Контекст комментария

    Boris Bazanov BotScanner

    Мы приносим искренние извинения партнерам из РБК за это недоразумение. В ходе конференции мы крайне некорректно ответили на вопрос СМИ об источниках бот-трафика в Рунете, не опровергнув навязанный вопросом журналистки тезис о том, что такой трафик есть у сайта РБК. Наше исследование подтверждает премиальность аудитории и сайта РБК, о чем свидетельствует один из самых «чистых» трафиков в Рунете.

  • Контекст комментария

    Alexander Shishow

    Юрий, мне лично сейчас главное чтобы без меня BotScanner с РБК не поругался… Тогда вся работа насмарку, получается.

    А ситуация с фродом достаточно простая — там конспирология особо не нужна )) — запросто может не быть никакой заинтересованности.

    Новостной траф ресейлится туда-сюда, меняется и т.д. Он не берётся ниоткуда — всегда есть подрядчики, суб-подрядчики, суб-суб-… и т.д. Частенько все начинается с мегабрендированной площадки а заканчивается полуголодным арбитражником )) Я Америки тут не открываю — это все знают. Тут просто нужно мониторить качество и объем фейкового трафа. Желательно на каждом шаге.

    Относительно неплохо выглядящий фекйовый траф проходит по этой цепочке, вырастая в цене (но, к сожалению не в качестве). Он ведь не заведомый говнтораф покупаемый коррумпированными менеджерами — так, несколько сомнительный просто… Так чтоб реально его мониторить на предмет качества — это скорее CPAшная история, не новостная.

    BotScanner сейчас пытается найти общй язык с новостными агрегаторами, крупными новостными порталами и т.д. Получится — хорошо, нет — ну, не очень )) Просто как раньше уже не будет: сейчас в медийку повалили крутильщики ПФ с готовыми технологиями и прочие подобные персонажи.

  • Контекст комментария

    Nik Фриланс

    Посмотрел видео, видимо никто из обсуждавших не удосужился это сделать, включая журналистов писавших первую версию статьи. Устроили скандал на ровном месте, как это обычно бывает в медиа. Посмотрите внимательно видео, и вы увидите:

    Утверждение про РБК:
    у Ботсканера в презентации (слайд 3) сказано, что они проанализировали один из крупнейших порталов рунета и увидели, что на рынке трафика медиа до 40% ботов. На слайде 11 единственный клиент СМИ — это РБК. Тут даже гадать не надо, что в презентации было утверждение, что 40% ботов они увидели у РБК.

    Разбираемся дальше….
    Вопроса журналиста: Понятно, что это трафик поставщиков, а не органика, поиск или прямые заходы. Идем в similarweb (https://www.similarweb.com/website/rbc.ru) и смотрим какая доля трафика РБК приходится на органику, поиск и прямые заходы – 56% прямой трафик (без рефера), 31% реферальный, в котором тоже есть news.yandex.ru и gismeteo.ru (придраться к ним сложно). Остается примерно 20% трафика на других поставщиков, у которых и увидели ботов.

    Если перевести вопрос журналиста в цифры, то он звучит так: Понятно, что вы не можете утверждать, что весь трафик РБК боты т.к. у медиа 80% источников трафика в которых не может быть ботов (поиск, органика, прямые заходы). А 40% относится к трафику, доля которого в медиа не более 20%.

    Взвесим долю ботов во всем трафике РБК и даже в самом худшем сценарии это не может быть более 5%. Т.е. фактически журналистка защитила РБК своим вопросом и скорректировала утверждения Ботсканера.

    Остается интрига: все же про кого из подрядчиков РБК говорили на конференции

Добавить 20 комментариев

  • Ответить

    А как по мнению автора гугл,яндекс,альтависта, рамблер индексируют Инет ? Роботами и сканируют. Даже имя файла norobot происходит оттуда. А уже человеки через гуглы попадают на сайты. А уж «серый» — неиндексированный Инет , раз в 5 превышает индексированный. И попасть на его страницы можео только зная прямую ссылку и никакой гугл про него знать не знает и в индексе его нет.

  • Ответить

    40% трафика РБК генерируют боты» — ну это не совсем так, коллеги…

    У РБК трафик куда лучше среднего по Рунету. Я на протяжении года видел, как они работают над качеством трафа. Проблемные каналы чистятся, фейк рубится постепенно. В Рунете куча новостного трафика ресейлится туда-сюда, если где-то затесались фродеры — их постепенно прибивают. И кстати, РБК относится к этому тщательнее, чем многие.

    Сам я уже не работаю в BotScanner-e, но всегда могу помочь с качеством трафика тем, кому это нужно — и мои коллеги из BS тоже готовы продолжать это делать. Насколько я знаю, у BS продолжается сотрудничество и с РБК, и планируется мониторинг качества непосредственно у поставщиков их трафика. Главное, чтобы эта тенденция развивалась — больше усилий, чище траф. Плохие источники наказываем, хорошие поощряем, и всё будет ОК. Главное не перепутать- а для этого как раз и пригодится BotScanner :)

    Я отписал про ситуацию с трафом у себя в фб — да, в целом в Рунете фрода становится резко больше. Кризис, то сё. Опять же, ПФ крутить стало куда сложнее. У Бориса всё это звучало в докладе.

  • Ответить

    Склонен согласиться: РБК закупает трафик и, в наше нынешнее время, не хочет сливать эти деньги непонятно на что.

    Но. Если на крупной площадке находится левый трафик потом, то кто может быть в нём заинтересован?

    Менеджер клиента, рекламное агентство, кто ещё?

    О какой кампании речь идёт вообще?

  • Ответить
    Boris Bazanov BotScanner

    Мы приносим искренние извинения партнерам из РБК за это недоразумение. В ходе конференции мы крайне некорректно ответили на вопрос СМИ об источниках бот-трафика в Рунете, не опровергнув навязанный вопросом журналистки тезис о том, что такой трафик есть у сайта РБК. Наше исследование подтверждает премиальность аудитории и сайта РБК, о чем свидетельствует один из самых «чистых» трафиков в Рунете.

  • Ответить

    Юрий, мне лично сейчас главное чтобы без меня BotScanner с РБК не поругался… Тогда вся работа насмарку, получается.

    А ситуация с фродом достаточно простая — там конспирология особо не нужна )) — запросто может не быть никакой заинтересованности.

    Новостной траф ресейлится туда-сюда, меняется и т.д. Он не берётся ниоткуда — всегда есть подрядчики, суб-подрядчики, суб-суб-… и т.д. Частенько все начинается с мегабрендированной площадки а заканчивается полуголодным арбитражником )) Я Америки тут не открываю — это все знают. Тут просто нужно мониторить качество и объем фейкового трафа. Желательно на каждом шаге.

    Относительно неплохо выглядящий фекйовый траф проходит по этой цепочке, вырастая в цене (но, к сожалению не в качестве). Он ведь не заведомый говнтораф покупаемый коррумпированными менеджерами — так, несколько сомнительный просто… Так чтоб реально его мониторить на предмет качества — это скорее CPAшная история, не новостная.

    BotScanner сейчас пытается найти общй язык с новостными агрегаторами, крупными новостными порталами и т.д. Получится — хорошо, нет — ну, не очень )) Просто как раньше уже не будет: сейчас в медийку повалили крутильщики ПФ с готовыми технологиями и прочие подобные персонажи.

  • Ответить

    Было бы интересно посмотреть на результаты, если бы инструменты Ботсканера поставить на сайты infox.ru и sg, журналист которых так умело задает вопросы, подставляя спикера.

  • Ответить

    Кирилл, я думаю это вопрос ближайшего времени. Причём, как мне кажется, и там трафик будет не самого плохого качества — если он соотвествует тому, что они льют на порталы своих клиентов… Другой вопрос, что выворачивать так Борины слова не стоило — он про 40% фейка на РБК ничего не говорил. Это вопрос личного отношения уже.

  • Ответить

    Дмитрий, в данной ситуации данные абсолютно валидны. Не смотря на то что в сертификате указан период в один квартал, по факту анализ проводился гораздо дольше. И я официально подтверждаю, что у РБК трафик хорошего качества.

  • Ответить

    ;) Интересно, а РБК заказал «проверку» своего трафика и для сайтов сателлитов. Вообще не понятно, кроме как некоего сертификата качества (назовем его так), какие еще подтверждения частоты дает BS?

    А рекламодателям, в идеале, хорошо отслеживать трафик используя общепринятые системы статистики, тот же Google Analytics. Чтобы видеть те самые «интересные» источники. Интересно, сможет их РБК сделать общедоступными? Но тут тоже не понятно, а если среди этих источников есть *medialand* это хорошо или плохо ;)

  • Ответить
    Boris Bazanov BotScanner

    Юрий, ни каких проблем. Мы сейчас готовим сводный рейтинг площадок. Обещаю сделать отдельный слайд с описанием технологии.

  • Ответить
    Nik Фриланс

    Посмотрел видео, видимо никто из обсуждавших не удосужился это сделать, включая журналистов писавших первую версию статьи. Устроили скандал на ровном месте, как это обычно бывает в медиа. Посмотрите внимательно видео, и вы увидите:

    Утверждение про РБК:
    у Ботсканера в презентации (слайд 3) сказано, что они проанализировали один из крупнейших порталов рунета и увидели, что на рынке трафика медиа до 40% ботов. На слайде 11 единственный клиент СМИ — это РБК. Тут даже гадать не надо, что в презентации было утверждение, что 40% ботов они увидели у РБК.

    Разбираемся дальше….
    Вопроса журналиста: Понятно, что это трафик поставщиков, а не органика, поиск или прямые заходы. Идем в similarweb (https://www.similarweb.com/website/rbc.ru) и смотрим какая доля трафика РБК приходится на органику, поиск и прямые заходы – 56% прямой трафик (без рефера), 31% реферальный, в котором тоже есть news.yandex.ru и gismeteo.ru (придраться к ним сложно). Остается примерно 20% трафика на других поставщиков, у которых и увидели ботов.

    Если перевести вопрос журналиста в цифры, то он звучит так: Понятно, что вы не можете утверждать, что весь трафик РБК боты т.к. у медиа 80% источников трафика в которых не может быть ботов (поиск, органика, прямые заходы). А 40% относится к трафику, доля которого в медиа не более 20%.

    Взвесим долю ботов во всем трафике РБК и даже в самом худшем сценарии это не может быть более 5%. Т.е. фактически журналистка защитила РБК своим вопросом и скорректировала утверждения Ботсканера.

    Остается интрига: все же про кого из подрядчиков РБК говорили на конференции

  • Ответить
    Альтер Эго

    Nikolay Vasiliev,

    Я бы поспорил. В инфомедиа Вы же рекламодателям аудиторию продаете, поэтому накрутки через прямые заходы и органику — самое оно. А рефереры — это ж Вам эти переходы купить / по бартеру получить надо. Этот комментарий не основан на трафике конкретно РБК — детальной статистики я не видел. Ну а общие слухи по рынку всем и так известны. Нормальных ботов Вы и по Метрике/Аналитиксу не найдете, не говоря уж про Симиларвеб.

    Юрий Синодов,

    Возможно буду Кэпом, но все же… Если не брать специально созданные фермы, но у ботов какие узкие места — это нагрузка на ЦПУ хоста и канал. Поэтому самые точные технологии — это ДжаваСкрипт, Флэш-плагины, загрузка тяжелого рекламного видео и т.п. Ботоводам проще одинаковый процент ЦПУ и канала поделить на маленькие «грядки» и впарить нескольким «лохам», чем показывать реалистичное поведение клиента и пытаться его продать подороже. Но самые точные технологии — они же самые дорогие для средств отслеживания ботов. По опыту общения с серьезными людьми в ботовской сфере: у них очень классные аналитики по трафику, если не самые лучшие. Если нужно будет — замаскируются под любые системы аналитики. Просто пока «лох хавает.»

  • Ответить
    Владимир Мяу и компания

    > Наше исследование подтверждает премиальность
    > аудитории и сайта РБК

    Прикольный термин «премиальность аудитории», надо запомнить…

    > А уж «серый» — неиндексированный Инет, раз
    > в 5 превышает индексированный. И попасть на
    > его страницы можео только зная прямую ссылку
    > и никакой гугл про него знать не знает и в индексе
    > его нет.

    Да ну как так, даже Хром, да и любой встроенный в браузер поиск, сливает ведь все URL’ы, оно как бы специально для этого и задумано в том числе?