Інструкція з виявлення браузерних ботів

BrowserScan виявляє сценарії або автоматизовану активність у браузерах. Він аналізує різні властивості браузера, щоб визначити, чи середовище браузера контролюється роботами. Різні продукти людино-машинної перевірки Cloudflare Turnstile і Google reCAPTCHA включатимуть виявлення в цій області, і зазвичай є три категорії:

Звичайні боти - зазвичай боти, що належать відомим пошуковим системам (Google, Bing, Baidu). Він сканує веб-сайти, щоб створити індекс вмісту з можливістю пошуку. Хороший бот також може бути інструментом моніторингу або перевірки безвідмовної роботи.
Шкідливі боти – зазвичай автоматизовані інструменти, такі як Selenium, Puppeteer, Playwright або будь-який інструмент, який видає себе за хорошого пошукового бота. Він може заволодіти обліковими записами, надсилати спам, викрадати паролі, очищати дані, витрачати ресурси тощо.
Ботів не виявлено – відвідувач міг бути людиною, яка користується звичайним браузером.

Ідентифікація та виявлення ботів

Поєднання відбитків пальців і виявлення ботів дає вам потужний інструмент для захисту від шахрайства в Інтернеті та дає найкращі результати при спільному використанні.

WebDriver

WebDriver Advance

Селен

NightmareJS

PhantomJS

Awesomium

Cef

CefSharp

Тренери

FMiner

Народився

Фантомас

Носоріг

Webdriverio

Хром без голови

Виявлення протоколу Chrome DevTools

Може визначити, чи використовуються інструменти розробника для імітації веб-переглядача чи інструменти, пов’язані з угодою розробника, для керування браузером

CDP

Навігатор

Визначте, чи є Навігатор оманливим. Деякі плагіни браузера або роботи змінюють ключові атрибути, щоб досягти омани.

що таке webdriver

WebDriver — це інструмент для автоматизації роботи браузера. Він надає інтерфейс програмування, який дозволяє розробникам писати сценарії за допомогою різних мов програмування (наприклад, Java, Python, C# тощо) для автоматичного виконання операцій браузера, таких як відкриття веб-сторінок, натискання кнопок, заповнення форм тощо .

Контроль: WebDriver може керувати браузером і виконувати різні операції користувача. Наприклад, він може вказати браузеру відкрити певну URL-адресу або натиснути кнопку.
Взаємодія: WebDriver може взаємодіяти з веб-сторінками через браузер. Наприклад, він може читати вихідний код HTML веб-сторінки або перевіряти певні елементи на сторінці.
Симуляція: WebDriver може імітувати поведінку користувача. Наприклад, він може імітувати клацання мишею, введення з клавіатури тощо.

WebDriver є стандартом W3C, що означає, що всі основні браузери (такі як Chrome, Firefox, Safari та Edge) підтримують WebDriver. Кожен браузер має власну реалізацію WebDriver (наприклад, Chrome має ChromeDriver, Firefox має GeckoDriver), але всі вони мають однаковий набір API, що дозволяє розробникам керувати різними браузерами за допомогою однакового набору коду.

зв’язок webdriver із Selenium, NightmareJS, PhantomJS, Awesomium, Cef, CefSharp, Coachjs, FMiner, Geb, Phantomas, Rhino, Webdriverio, Headless Chrome тощо.

WebDriver — це інструмент для автоматизації роботи браузера. Це програмний інтерфейс, який надає набір API, які можуть керувати браузером. WebDriver підтримує кілька мов програмування та дозволяє розробникам писати сценарії для імітації операцій браузера користувача, таких як натискання кнопок, введення тексту, надсилання форм тощо. WebDriver часто використовується для автоматизованого тестування та сканерів.

Selenium — це платформа, яка спеціально використовується для автоматизованого тестування. Її основний компонент Selenium WebDriver заснований на API WebDriver. Selenium підтримує кілька браузерів і кілька мов програмування і є дуже важливим інструментом в автоматизованому тестуванні.

PhantomJS, Headless Chrome і NightmareJS — це безголові браузери. Безголові браузери – це браузери без інтерфейсу користувача. Вони запускаються з командного рядка і ідеально підходять для автоматизованого тестування та сканерів. І PhantomJS, і Headless Chrome надають API на основі WebDriver, і ними можна керувати через WebDriver. NightmareJS базується на Electron і надає власний API.

Awesomium, Cef і CefSharp — це двигуни браузерів. Awesomium і Cef (Chromium Embedded Framework) базуються на Chromium, а CefSharp є прив’язкою .NET для Cef. Їх можна вбудовувати в інші програми, щоб забезпечити функціональність веб-перегляду.

Geb — це рішення для автоматизації браузера на основі Groovy, яке поєднує функції WebDriver, Spock і jQuery для забезпечення потужного API.

Coachjs, FMiner, Phantomas, Rhino, Webdriverio тощо є деякими інструментами або фреймворками автоматизації. Coachjs — інструмент для тестування продуктивності, FMiner — візуальний сканер, Phantomas — інструмент аналізу продуктивності, Rhino — механізм JavaScript, а Webdriverio — реалізація WebDriver на основі Node.js. Усі ці інструменти або фреймворки пов’язані з WebDriver. Наприклад, Webdriverio базується безпосередньо на WebDriver.

Як людина-машинна перевірка, як-от Cloudflare Turnstile, Google reCAPTCHA та інші, виявляють роботу автоматизованих інструментів, таких як webdriver

Аналіз поведінки користувача: системи перевірки «людина-машина» виявляють поведінку користувача (наприклад, шаблони рухів миші, клацання та введення з клавіатури) і порівнюють їх зі звичайними моделями поведінки людини. Оскільки операції автоматизованих інструментів, таких як WebDriver, часто відображають неприродні моделі (наприклад, надмірно лінійні або механічні рухи), цей метод може ефективно виявляти автоматизовані операції.

Перевірки властивостей веб-переглядача: системи автентифікації «людина-машина» також перевіряють деякі властивості веб-переглядача на наявність підказок, які можуть вказувати на автоматизовані операції. Наприклад, Selenium WebDriver додасть властивість під назвою webdriver до об’єкта навігатора браузера, яким він керує, і людина-машинна система перевірки зможе перевірити, чи існує ця властивість.

Аналіз мережевого трафіку: системи перевірки людьми можуть аналізувати мережевий трафік, шукаючи шаблони, які нагадують автоматизовані операції. Наприклад, якщо запити виявляються надто швидкими або надто регулярними, це може вважатися автоматизованою операцією.

Машинне навчання. Деякі вдосконалені системи перевірки людиною, наприклад Google reCAPTCHA v3, можуть використовувати алгоритми машинного навчання, щоб визначити, чи була операція виконана людиною. Цей підхід вивчає великі обсяги даних для більш точного визначення автоматизованих дій.

Як автоматичні інструменти, такі як WebDriver, можуть уникнути виявлення системами перевірки «людина-машина».

Хоча системи перевірки людиною постійно вдосконалюють свою здатність виявляти автоматизовані інструменти, все ще існують деякі стратегії, які можуть допомогти автоматизованим інструментам, таким як WebDriver, уникнути виявлення:

Імітація поведінки людини: ви можете запрограмувати WebDriver для імітації поведінки людини, наприклад випадкового переміщення миші та швидкості клацання, імітації введення з клавіатури тощо.

Змінити властивості браузера: ви можете спробувати змінити деякі властивості браузера, керованого WebDriver, щоб він виглядав як звичайний, неавтоматичний браузер. Наприклад, ви можете спробувати видалити або змінити властивість navigator.webdriver.

Контролюйте швидкість запиту: ви можете зробити автоматичні дії більш схожими на поведінку людини, збільшивши затримку між запитами або рандомізуючи час запитів.

Проксі та VPN: використання проксі-сервера або VPN може приховати вашу справжню IP-адресу, ускладнюючи її виявлення.

Однак ці стратегії не гарантують, що ваші автоматичні дії не будуть виявлені. Також майте на увазі, що якщо ви використовуєте автоматизовані інструменти без дозволу власника веб-сайту, ви можете порушити умови обслуговування веб-сайту та призвести до блокування вашої IP-адреси.