FailproofAI: инструмент для управления надежностью AI-агентов

Проект FailproofAI предоставляет решение для наблюдения и контроля выполнения агентов в различных средах. Его основная цель — предотвратить выполнение потенциально опасных команд агентами, которые могут привести к повреждению данных или систем.

FailproofAI поддерживает работу с двенадцатью различными хранилищами агентов, включая такие инструменты, как Claude Code, OpenAI Codex, Hermes и OpenClaw. Каждый из них имеет свои политики, которые используются для блокировки выполнения нежелательных вызовов.

Установка и запуск

Для установки FailproofAI необходимо выполнить следующие команды:

npm install -g failproofai
failproofai config                             # Настроить агентов и демона
failproofai policies add FailproofAI/policies  # Выбрать политики
failproofai                                    # Панель управления на localhost:8020

Важно отметить, что после установки первый запуск с командой failproofai config проводит настройку окружения. Если вы хотите запустить другие команды без настройки, можно использовать переменную окружения FAILPROOFAI_NO_FIRST_RUN=1.

Политики и ограничения

FailproofAI предоставляет 40 встроенных политик, которые могут блокировать различные действия, включая:

• Чтение конфиденциальных файлов (.env)
• Эскалацию привилегий
• Опасные SQL-команды (например, DROP, TRUNCATE)
• Изменения в живой инфраструктуре без проверки
• Рекурсивное удаление файлов (rm -rf)

Каждая политика блокирует вызовы до их выполнения, обеспечивая защиту на всех поддерживаемых хранилищах.

Разработка собственных политик

Ты также можешь создавать собственные политики, просто добавив файл в каталог .failproofai/policies/. Пример кода для создания своей политики:

import { customPolicies, deny, allow } from "failproofai";

customPolicies.add({
  name: "no-production-writes",
  match: { events: ["PreToolUse"] },
  fn: async (ctx) => {
    if (ctx.toolInput?.file_path?.includes("production"))
      return deny("Запись в продакшн пути запрещена.");
    return allow();
  },
});

Наблюдаемость и аудит

Помимо контроля выполнения команд, FailproofAI предоставляет возможность наблюдения за действиями агентов. Запустив failproofai без аргументов, ты получишь доступ к панели управления на localhost:8020, где будет доступен список сессий, последовательность вызовов моделей и действий. Также доступны функции аудита, которые помогут выявить и исправить потенциальные опасные шаблоны в истории выполнения.

Лицензия

Проект лицензирован под MIT с дополнением Commons Clause, что означает, что использование в личных и внутренних целях бесплатно, однако коммерческая перепродажа требует отдельного соглашения.