Боты — это не только плохо. Googlebot, мониторинг, API-интеграции — это нужные боты. Задача — отсеять вредных, не задев полезных.
HTTP Flood
Как боты атакуют ваш сайт
Боты-браузеры
Headless Chrome
HTTP Requests
WAF
JS Challenge
0%
0%
Валидные
Backend
DB
Онлайн
Ботнет генерирует тысячи HTTP-запросов, имитируя реальных пользователей с валидными заголовками.
Каждый запрос проходит через веб-сервер → приложение → базу данных. CPU и RAM растут.
Приложение перестаёт отвечать. 502/503 для всех пользователей. Бизнес теряет деньги.
Поведенческий анализ, JS-challenge и rate limiting фильтруют ботов от людей.
01
User-Agent фильтрация
Первый уровень защиты
Простые боты не скрывают себя. Блокируем очевидное:
Блокировка по User-Agent
# В server блоке\nif ($http_user_agent ~* (scrapy|curl|wget|python-requests|Go-http-client|java|httpclient)) {\n return 403;\n}\n\n# Пустой User-Agent\nif ($http_user_agent = \"\") {\n return 403;\n}Внимание
Не блокируйте curl/wget полностью, если используете их для мониторинга. Добавьте исключения по IP.
02
Проверка Googlebot
Отличаем настоящего от подделки
Многие боты притворяются Googlebot. Настоящий — приходит с IP Google и проходит reverse DNS.
▊
03
JavaScript Challenge
Отсеиваем headless-ботов
Умные боты используют headless-браузеры (Puppeteer, Playwright). Их сложнее отличить, но возможно:
- Cloudflare Bot Management — платно, но эффективно
- JavaScript fingerprinting — проверка поведения браузера
- CAPTCHA на подозрительных — hCaptcha, reCAPTCHA v3
Мониторинг важнее блокировки
<a href="/articles/monitoring-alerts-guide">Мониторинг</a> важнее блокировки. Не блокируйте всё подряд. Сначала наблюдайте: кто приходит, с какими User-Agent, на какие URL. Потом блокируйте точечно с помощью <a href="/articles/rate-limit-nginx">rate-limit</a>.