RepoRadar FailproofAI: инструмент для управления надежностью AI-агентов
FailproofAI — это инструмент для наблюдаемости и управления надежностью AI-агентов. Он фиксирует каждое выполнение и обеспечивает соблюдение политик, что делает его полезным для разработки и тестирования систем с AI.
Этот проект выделяется среди альтернатив тем, что акцентирует внимание на надежности в реальном времени и позволяет интегрировать политики, что важно для разработчиков, работающих с критически важными AI-системами. Он может быть особенно актуален для команд, стремящихся сократить риски при развертывании AI, сохраняя при этом высокую степень контроля и мониторинга.
FailproofAI написан на TypeScript и доступен для установки через npm. Документация и дополнительные ресурсы можно найти на официальном сайте проекта. Обрати внимание, что проект может находиться на ранней стадии развития, и следует учитывать ограничения, если они есть.
Проект FailproofAI предоставляет решение для наблюдения и контроля выполнения агентов в различных средах. Его основная цель — предотвратить выполнение потенциально опасных команд агентами, которые могут привести к повреждению данных или систем.
FailproofAI поддерживает работу с двенадцатью различными хранилищами агентов, включая такие инструменты, как Claude Code, OpenAI Codex, Hermes и OpenClaw. Каждый из них имеет свои политики, которые используются для блокировки выполнения нежелательных вызовов.
Установка и запуск
Для установки FailproofAI необходимо выполнить следующие команды:
npm install -g failproofai
failproofai config # Настроить агентов и демона
failproofai policies add FailproofAI/policies # Выбрать политики
failproofai # Панель управления на localhost:8020
Важно отметить, что после установки первый запуск с командой failproofai config проводит настройку окружения. Если вы хотите запустить другие команды без настройки, можно использовать переменную окружения FAILPROOFAI_NO_FIRST_RUN=1.
Политики и ограничения
FailproofAI предоставляет 40 встроенных политик, которые могут блокировать различные действия, включая:
- Чтение конфиденциальных файлов (.env)
- Эскалацию привилегий
- Опасные SQL-команды (например, DROP, TRUNCATE)
- Изменения в живой инфраструктуре без проверки
- Рекурсивное удаление файлов (rm -rf)
Каждая политика блокирует вызовы до их выполнения, обеспечивая защиту на всех поддерживаемых хранилищах.
Разработка собственных политик
Ты также можешь создавать собственные политики, просто добавив файл в каталог .failproofai/policies/. Пример кода для создания своей политики:
import { customPolicies, deny, allow } from "failproofai";
customPolicies.add({
name: "no-production-writes",
match: { events: ["PreToolUse"] },
fn: async (ctx) => {
if (ctx.toolInput?.file_path?.includes("production"))
return deny("Запись в продакшн пути запрещена.");
return allow();
},
});
Наблюдаемость и аудит
Помимо контроля выполнения команд, FailproofAI предоставляет возможность наблюдения за действиями агентов. Запустив failproofai без аргументов, ты получишь доступ к панели управления на localhost:8020, где будет доступен список сессий, последовательность вызовов моделей и действий. Также доступны функции аудита, которые помогут выявить и исправить потенциальные опасные шаблоны в истории выполнения.
Лицензия
Проект лицензирован под MIT с дополнением Commons Clause, что означает, что использование в личных и внутренних целях бесплатно, однако коммерческая перепродажа требует отдельного соглашения.
Открыть на GitHub: FailproofAI/failproofai →