Skyvern: автоматизация браузерных процессов с помощью ИИ

Проект Skyvern предназначен для автоматизации рабочих процессов в браузере с использованием больших языковых моделей (LLM) и компьютерного зрения. Он предлагает SDK, совместимый с Playwright, который добавляет функциональность ИИ, а также конструктор рабочих процессов без кода, позволяющий как техническим, так и нетехническим пользователям автоматизировать рутинные задачи на любых веб-сайтах.

В отличие от традиционных подходов к автоматизации браузера, которые требуют написания пользовательских скриптов и зависят от парсинга DOM или XPath, Skyvern использует визуальные большие языковые модели для взаимодействия с веб-сайтами. Это позволяет работать с сайтами, с которыми система ранее не сталкивалась, и быть устойчивым к изменениям в структуре страниц.

Как работает Skyvern

Skyvern вдохновлен концепцией автономных агентов, подобной BabyAGI и AutoGPT. Он использует рой агентов для анализа веб-сайтов, планирования и выполнения действий. Основные преимущества представлены следующими моментами:

• Skyvern может функционировать на ранее неизвестных веб-сайтах, так как способен сопоставлять визуальные элементы с действиями, необходимыми для выполнения рабочих процессов.
• Он устойчив к изменениям в макете веб-сайтов, так как не привязан к заранее определённым XPaths или селекторам.
• Skyvern может применять один рабочий процесс к множеству сайтов, благодаря способности рассуждать о необходимых взаимодействиях.

Установка и запуск

Для начала работы с Skyvern есть два основных варианта: использование облачной версии или локально.

Облачная версия

Skyvern Cloud — это управляемая облачная версия, позволяющая запустить Skyvern без необходимости заботиться об инфраструктуре. Чтобы попробовать, необходимо создать аккаунт на app.skyvern.com.

Локальная установка

Выбери предпочтительный способ установки:

• Установка с помощью pip:

  pip install "skyvern[all]"

  После этого запустить:

  skyvern quickstart

• Использование Docker Compose: Установи Docker, клонируй репозиторий и запусти:

  docker compose up -d

  Для доступа к приложению открой http://localhost:8080.

Ограничения и проблемы

Некоторые известные проблемы и их решения:

• Ошибка `(sqlite3.OperationalError) table organizations already exists` возникает при установке версии 1.0.31. Чтобы исправить это, нужно удалить файл SQLite:

rm ~/.skyvern/data.db

• Если установка через pip завершилась с ошибкой ResolutionImpossible, можно обновить Skyvern до 1.0.32 или выше:

uv pip install skyvern

Функциональность Skyvern

Skyvern добавляет множество команд с поддержкой ИИ для выполнения действий в браузере, включая:

• page.act(prompt) — выполнение действий на основании естественного языка.
• page.extract(prompt, schema) — извлечение структурированных данных.
• page.validate(prompt) — проверка состояния страницы.
• Поддержка различных аутентификаций, включая 2FA и интеграции с менеджерами паролей, такими как Bitwarden.

Skyvern также позволяет создавать сложные рабочие процессы, использовать потоковое видео с браузера для отладки и предоставляет возможности для работы с внешними API через интеграции.