AISIX: шлюз для работы с языковыми моделями и AI-агентами

AISIX AI Gateway — это облачный шлюз с поддержкой Rust, который предоставляет единый API, совместимый с OpenAI, для взаимодействия с несколькими поставщиками больших языковых моделей (LLM), такими как OpenAI, Anthropic и Google. Проект разработан командой, создавшей Apache APISIX, и позволяет легко управлять потоками трафика AI, обеспечивая маршрутизацию, безопасность, кэширование и наблюдаемость с минимальными затратами на запросы.

Зачем нужен AISIX AI Gateway

Проект позволяет разработчикам и командам IT иметь единый контрольный пункт для обработки трафика от различных LLM, используя единый API. Это полезно для интеграции различных сервисов, упрощает настройки и обеспечивает возможность управлять запросами, обеспечивая при этом мониторинг и защиту. AISIX AI Gateway можно развернуть как локально, так и использовать с облачным решением AISIX Cloud для централизованного управления.

Как установить и запустить

Установка AISIX AI Gateway проста — тебе нужно всего лишь настроить один контейнер Docker. Вам потребуется два файла конфигурации: config.yaml и resources.yaml.

Пример конфигурации:

# config.yaml
resources_file: /etc/aisix/resources.yaml
proxy:
  addr: "0.0.0.0:3000"
admin:
  enabled: false
observability:
  metrics:
    prometheus:
      enabled: true
      addr: "0.0.0.0:9090"

# resources.yaml
_format_version: "1"
provider_keys:
  - display_name: openai-main
    provider: openai
    api_key: ${OPENAI_API_KEY}
models:
  - display_name: my-model
    provider: openai
    model_name: gpt-4o-mini
    provider_key: openai-main
api_keys:
  - display_name: local-dev
    key_env: CALLER_API_KEY
    allowed_models: ["my-model"]

Запустите AISIX с помощью следующей команды:

docker run -d --name aisix \
  -v "$(pwd)/config.yaml:/etc/aisix/config.yaml:ro" \
  -v "$(pwd)/resources.yaml:/etc/aisix/resources.yaml:ro" \
  -e OPENAI_API_KEY -e CALLER_API_KEY \
  -p 3000:3000 -p 127.0.0.1:9090:9090 \
  ghcr.io/api7/aisix:latest

Затем можно отправить запрос к шлюзу так же, как это делается с OpenAI:

curl http://localhost:3000/v1/chat/completions \
  -H "Authorization: Bearer $CALLER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"my-model","messages":[{"role":"user","content":"hello"}]}'

Особенности и ограничения

AISIX AI Gateway предоставляет множество функций, включая:

• Поддержку OpenAI-соответствующего прокси для различных API-сервисов, включая Anthropic и Google.
• Гибкую маршрутизацию и обработку запросов с возможностью использования различных стратегий (например, round-robin, fallback и т.д.).
• Встроенные средства для обеспечения контроля за содержанием и соблюдения политик, таких как фильтрация PII и автоматическое кэширование запросов.
• Поддержка наблюдаемости через Prometheus и другие системы мониторинга.

Важно отметить, что шлюз требует корректной настройки файлов конфигурации для успешной работы. При неправильной настройке AISIX предотвратит загрузку некорректных файлов, сохраняя последнюю работающую конфигурацию. Для кластеров поддерживается интеграция с базой данных etcd, но в данном случае необходимо учитывать дополнительные требования.