RepoRadar Tracely: CI/CD инструмент для отслеживания фейлов AI агентов
Tracely — это CI/CD инструмент для отслеживания и управления фейлами AI агентов. Он позволяет автоматически превращать ошибки в производственной среде в регрессионные тесты, которые предотвращают идентичные патчи в будущем.
Главное отличие от традиционных CI/CD решений в том, что Tracely не просто фиксирует ошибки, а анализирует и группирует их, создавая замороженные случаи с возможностью воспроизведения. Это упрощает процесс тестирования, поскольку вместо ручного тестирования можно сэкономить время, используя уже задействованные фейлы как основу для новых тестов. Инструмент лучше всего подойдет командам, работающим с AI агентами, которые хотят автоматизировать и улучшить качество своих релизов.
Проект написан на Python 3.10 и выше, и можно быстро развернуть весь стек при помощи одного клика. Однако стоит помнить, что совместимость, лицензия и другие ограничения не раскрыты в README, так что стоит внимательно ознакомиться с документацией.
Проект Tracely — это инструмент для обнаружения и обработки сбоев в AI-агентах, который автоматически превращает эти сбои в регрессионные тесты. Он оценивает каждый трейс агента, группирует неудачные запуски в проблемы, замораживает их в воспроизводимые случаи и блокирует попытки внедрить их в код.
Tracely позволяет использовать фактические данные о сбоях, полученные из продакшена, вместо ручного создания тестовых наборов. Это означает, что тесты создаются на основе реальных неудачных трасс, что делает их более надежными и актуальными. Серверные API и пользовательский интерфейс разворачиваются в одном клике, и проект поддерживает интеграцию с различными языками программирования.
Установка и настройка
Чтобы быстро развернуть Tracely, необходим Docker и Docker Compose. Выполни следующие команды в терминале:
git clone https://github.com/Jwuthri/Tracely-ai && cd Tracely
docker compose --profile demo up -d --build --wait
open http://localhost:3001
Эти команды запустят ClickHouse, Postgres, Redis и MinIO, настроят приложение с начальными данными и откроют интерфейс.
Как это работает
- Наблюдение: Tracely принимает трассы через OTLP, преобразуя их в удобный для анализа формат.
- Обнаружение и классификация: Инструмент автоматически группирует одинаковые сбои, позволяя легко отслеживать проблемы.
- Тестирование: Один клик позволяет заморозить неудачную трассу как регрессионный тест.
- Развертывание и блокировка PR: Тесты выполняются в CI/CD, блокируя пулл-реквесты, если они приводят к сбоям.
- Уведомления: Пользователь может настроить оповещения о неудачных запусках через Slack, email и другие каналы.
Ограничения
В проекте используются автоматизированные механизмы, зависящие от точности трасс. Если трассы будут неполными или некорректными, это может повлиять на их репродукцию в рамках тестов. Кроме того, для полноценной работы могут понадобиться дополнительные настройки и интеграции, в зависимости от используемых технологий и среды.
Ссылки и документация
Для получения более подробной информации об установке и работе с Tracely, можно обратиться к официальной документации по следующим ссылкам:
Открыть на GitHub: Jwuthri/Tracely-ai →
