Промышленный шпионаж как инструмент конкурентной борьбы приобретает новые формы, вооружаясь новейшими технологиями. Специальные боты-скраперы мониторят цены и продуктовые линейки. Давайте попытаемся разделить ботов на плохих и хороших.

Все, от крупной корпорации до розничной лавки, хотят знать, как там дела у конкурентов. Тайные покупатели — это, конечно, действенный способ. Но на просторах интернета засылать шпиона с диктофоном нет необходимости.

Крупные игроки имеют в ассортименте миллионы наименований, отсматривать их вручную, мониторя цены, нецелесообразно. Для отслеживания маркетинга конкурентов компании используют специальное программное обеспечение (ПО). Это называется «скрапинг».

В чем суть скрапинга?

Скрапером называется программа, собирающая данные из разных источников, копирующая и публикующая их без позволения авторов на своих ресурсах.

Крупные компании типа Amazon и Wallmart имеют собственные скрап-отделы. Организации поменьше обращаются за помощью к специально созданным маркетинговым агентствам, вроде Competera, занимающимся масштабным сбором информации. Они могут предоставить своим клиентам достоверные и актуальные данные.

При этом некоторые крупные корпорации официально отказываются признаваться в использовании таких способов разведки и наличия ботов в своих маркетинговых инструментах.

Но скрапинг — это часть работы в интернете. Некоторые поисковики вполне законно используют такой метод для индексации запросов. Также с помощью этого отслеживания можно проверить, насколько честно корпорации следуют соглашениям о ценах.

Каждый охотник желает знать, где сидит бот

Ритейлеры находятся в неоднозначном положении. При желании как можно больше узнать о конкурентах, они не хотят, чтобы знали и о них самих. Защита интеллектуальной собственности порой не работает в полную силу. Копирование фотографий, описаний товаров – запрещено, но нарушения этих гласных правил происходят постоянно.

Для защиты данных созданы ПО, способные распознать и различить бота и реального человека. А в зависимости от решения закрыть доступ к некоторым данным, например к цене. Но также есть программы, способные маскировать ботов под обычных пользователей. Круг замкнулся.

Компании вроде Luminati действуют по принципу ботнет, схожему с хакерскими атаками. Вредоносное ПО встроено в соблазнительные для пользователя, часто бесплатные, приложения. Скачав такое ПО, владелец незаметно для себя будет передавать нужную корпорации информацию. А та, в свою очередь, будет пользоваться его устройством от лица бота, как от обычного пользователя.

Обычно это происходит, когда человек не пользуется телефоном, и устройство находится в состоянии покоя или вовсе отключено. Именно на этом базируется основное отличие бота и обычного пользователя. Некоторые ПО способны улавливать минимальные смещения устройства во время его использования человеком. Если запрос приходит, а устройство неподвижно, можно с вероятностью 100% сказать, что это бот.

Как же обнаружить бота? 

«Честный» браузер сообщает, что это он: Google Chrome, Microsoft Edge или какой-то другой. А вот бот может солгать. Самое очевидное их отличие — это частота запросов. Если производится сотня запросов в минуты, то перед вами бот. Второй способ отличить человека и вредоносное ПО — отслеживать IP адрес посетителя. Если источник —облако, вряд ли это обычный пользователь.

Маскировка бот-трафика сделала практически невозможным отслеживание ботов. Бесконечные капчи пока помогают, но они жутко неудобны и действуют на пользователей раздражающе. Если раньше пытались выявить общее для ботов поведение и блокировать их, то теперь дружественным ПО ставят другую цель. Они направлены на определение общего для людей поведения, чтобы распознать их и пропустить дальше.

Хороший и плохой бот

Существуют сайты по сравнению цен, такие как Google Shopping, и есть компании, которым было бы приятно увидеть себя там. А ведь это тот же скрапинг. Только с положительным посылом.

Скрапингом занимаются и авиакомпании, позволяющие сайтам по сравнению цен выкладывать информацию в свободный доступ для удобства продаж. Они платят таким сервисам определенную комиссию за то, что вы просматриваете информацию об их рейсах.

Но существуют намеренно вредоносные боты, чьи атаки могут обрушить сервер, сайт с ценами или заняться кражей паролей пользователей. Такое случилось в 2015 году, когда были скомпрометированы учетные записи Google Chrome Store. Тогда это позволило встроить вредоносное ПО в расширение Google.

В любом случае, проблема с вредоносными ботами это временное явление. Но когда с ними совладают, найдется что-нибудь еще…