Руководство по обнаружению браузерных ботов

WebDriver — это инструмент для автоматизации операций браузера. Это программный интерфейс, предоставляющий набор API, которые могут управлять браузером. WebDriver поддерживает несколько языков программирования и позволяет разработчикам писать сценарии для имитации операций браузера пользователя, таких как нажатие кнопок, ввод текста, отправка форм и т. д. WebDriver часто используется для автоматического тестирования и сканеров.

Selenium — это платформа, специально используемая для автоматического тестирования. Ее основной компонент Selenium WebDriver основан на API WebDriver. Selenium поддерживает несколько браузеров и несколько языков программирования и является очень важным инструментом автоматического тестирования.

PhantomJS, Headless Chrome и NightmareJS — это безголовые браузеры. Безголовые браузеры — это браузеры без пользовательского интерфейса. Они запускаются из командной строки и идеально подходят для автоматического тестирования и сканеров. И PhantomJS, и Headless Chrome предоставляют API на основе WebDriver, и ими можно управлять через WebDriver. NightmareJS основан на Electron и предоставляет собственный API.

Awesomium, Cef и CefSharp — это браузерные движки. Awesomium и Cef (Chromium Embedded Framework) основаны на Chromium, а CefSharp — это привязка .NET для Cef. Их можно встраивать в другие приложения для обеспечения функциональности просмотра веб-страниц.

Geb — это решение для автоматизации браузера на основе Groovy, которое сочетает в себе функции WebDriver, Spock и jQuery для предоставления мощного API.

Coachjs, FMiner, Phantomas, Rhino, Webdriverio и т. д. — это инструменты или платформы автоматизации. Coachjs — это инструмент для тестирования производительности, FMiner — инструмент визуального сканирования, Phantomas — инструмент анализа производительности, Rhino — движок JavaScript, а Webdriverio — реализация WebDriver, основанная на Node.js. Все эти инструменты или платформы связаны с WebDriver. Например, Webdriverio напрямую основан на WebDriver.

Анализ поведения пользователей: системы человеко-машинной проверки обнаруживают поведение пользователей (например, модели движений мыши, щелчки и ввод с клавиатуры) и сравнивают их с нормальными моделями человеческого поведения. Поскольку операции автоматизированных инструментов, таких как WebDriver, часто демонстрируют неестественные закономерности (например, чрезмерно линейные или механические движения), этот метод позволяет эффективно обнаруживать автоматизированные операции.

Проверка свойств браузера. Системы человеко-машинной аутентификации также проверяют некоторые свойства браузера на наличие подсказок, которые могут указывать на автоматические операции. Например, Selenium WebDriver добавит свойство с именем webdriver к объекту навигатора браузера, которым он управляет, и система человеко-машинной проверки сможет проверить, существует ли это свойство.

Анализ сетевого трафика. Системы проверки, выполняемые человеком, могут анализировать сетевой трафик в поисках закономерностей, напоминающих автоматизированные операции. Например, если окажется, что запросы выполняются слишком быстро или слишком равномерно, это можно считать автоматизированной операцией.

Машинное обучение. Некоторые более продвинутые системы проверки человека, такие как Google reCAPTCHA v3, могут использовать алгоритмы машинного обучения, чтобы определить, была ли операция выполнена человеком. Этот подход обучается на больших объемах данных для более точного определения автоматизированных действий.

Хотя системы проверки людей постоянно совершенствуют свои возможности обнаружения автоматизированных инструментов, все еще существуют некоторые стратегии, которые могут помочь автоматизированным инструментам, таким как WebDriver, избежать обнаружения:

Имитация поведения человека. Вы можете запрограммировать WebDriver для имитации поведения человека, например рандомизации движений мыши и скорости щелчков, имитации ввода с клавиатуры и т. д.

Изменить свойства браузера. Вы можете попытаться изменить некоторые свойства браузера, управляемого WebDriver, чтобы он выглядел как обычный неавтоматизированный браузер. Например, вы можете попробовать удалить или изменить свойство navigator.webdriver.

Управляйте скоростью запросов. Вы можете сделать автоматические действия более похожими на человеческое поведение, увеличив задержку между запросами или рандомизировав время выполнения запросов.

Прокси и VPN. Использование прокси-сервера или VPN может скрыть ваш настоящий IP-адрес, что затруднит его обнаружение.

Однако эти стратегии не гарантируют, что ваши автоматические действия не будут обнаружены. Также имейте в виду, что если вы используете автоматизированные инструменты без разрешения владельца веб-сайта, вы можете нарушить условия обслуживания веб-сайта и привести к блокировке вашего IP-адреса.