RepoRadar Trawl: самузловая система для обхода JS челенджей и капч
Trawl — самузловая система для веб-скрейпинга, способная обходить различные JS челенджи и капчи, такие как Cloudflare и reCAPTCHA. В отличие от альтернатив вроде FlareSolverr, Trawl обещает улучшенную скорость и надежность, а также возможность интеграции с экосистемой *arr.
Проект решает задачи автоматического скрейпинга, что особенно важно для разработчиков, которым необходимо извлекать информацию с сайтов с защитой от ботов. В Trawl реализованы продвинутые механизмы, такие как интуитивные потоки для разных WAF, кэширование сессий и нативное решение капч, что позволяет существенно снизить количество неудачно выполненных запросов.
Запустить Trawl можно через Docker, что просто для локальной среды. Лицензия не ограничивает коммерческое использование, но стоит помнить, что качество работы может зависеть от конкретного сайта, и необходимость в настройках может варьироваться.
Общая информация
Проект TRAWL — это самостоятелйный движок для веб-скрапинга, который предлагает эффективные методы решения JavaScript-задач и CAPTCHA. Он имеет специализированные потоки для обхода систем защиты, таких как Cloudflare, Akamai Bot Manager и Imperva, и поддерживает различные виды CAPTCHA: reCAPTCHA, hCaptcha и другие. TRAWL является более быстрым и надежным аналогом FlareSolverr и Byparr и может быть использован в связке с другими инструментами из стека \*arr.
Особенности
- Увеличенная скорость: в 2-6 раз быстрее, чем FlareSolverr или Byparr.
- Многоуровневая экосистема: поддерживает четыре уровня выполнения: обычный HTTP-запрос, кэшированная сессия браузера, решение задач и использование резидентного прокси.
- Обработка нескольких WAF: специализированные потоки для Cloudflare, Akamai и Imperva.
- Решение CAPTCHA: встраивает решения для популярных CAPTCHA без необходимости использования платных API.
- Совместимость: работает с такими инструментами, как Prowlarr, Jackett и другими из экосистемы \*arr.
Быстрый старт
Чтобы установить и запустить TRAWL, следуй этим шагам:
# Клонируй и настрой
git clone https://github.com/germondai/trawl
cd trawl
cp .env.example .env
# Запусти скриптер и Redis
docker compose up -d
# Проверь, что всё работает
curl http://localhost:8191/health
Первый запуск может занять 15-30 секунд, так как происходит предварительная инициализация пула браузеров. Повторные запуски идут быстрее.
Также доступна установка через сообщество приложений для TrueNAS и Unraid.
API и интеграция
TRAWL предоставляет API, совместимый с FlareSolverr, что позволяет использовать стандартные команды для обработки запросов:
curl -X POST http://localhost:8191/v1 \
-H 'Content-Type: application/json' \
-d '{"cmd":"request.get","url":"https://nowsecure.nl","maxTimeout":60000}'
Кроме того, TRAWL поддерживает расширенные API, которые возвращают более полную метаинформацию о запросах. Для интеграции с Prowlarr и Jackett необходимо настроить URL FlareSolverr.
Требования и ограничения
TRAWL предполагает использование Docker, и для его работы требуется поддержка современного стека технологий. На старом оборудовании могут возникнуть проблемы, поскольку проект ориентирован на современные версии ядра Linux. Для некоторых систем доступна "базовая" версия, которая работает на старых ядрах.
Быть осторожным с использованием проксей типа MITM (Man-in-the-Middle): такие прокси могут подменять сертификаты, что требует дополнительных настроек доверия у клиентов.
Лицензия
Проект распространяется под лицензией AGPL-3.0, что означает, что ты можешь использовать его, модифицировать и распространять, соблюдая условия лицензии.
Радар проекта: 77 из 100 — зрелый и живой проект
- Импульс 37 ≈ 6 звёзд в день
- Темп разработки 100 300 коммитов за 12 недель
- Зрелость 74 проекту 5 месяцев, 31 релиз
- Сообщество 55 25 участников, 66 форков
- Свежесть 96 последний коммит — 6 дней назад
- Быстрый старт 90 есть: команда установки, Docker, сайт/демо
- Готовность к продакшену 80 релиз v1.10.1, автосборка
- Безопасность и доверие 80 лицензия AGPL-3.0, SECURITY.md
- Документация 100 README 23.7 тыс. знаков, 46 разделов
- Экосистема 57 2 подписчика на обновления, 20 тем
Как считаем
Только открытые данные GitHub на 07.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: germondai/trawl →
