Otari: шлюз для языковых моделей с поддержкой OpenAI

Проект Otari представляет собой шлюз для языковых моделей, совместимый с OpenAI. Он позволяет интегрировать более 40 провайдеров моделей и управлять ими через единую точку доступа. С помощью Otari можно выдавать виртуальные ключи API, контролировать бюджеты и отслеживать использование ресурсов.

Otari работает между твоими приложениями и провайдерами моделей, аутентифицируя запросы, разрешая учетные данные провайдеров, проверяя бюджеты перед выполнением запросов и записывая использование после их завершения. Всю логику вызовов провайдеров реализует модуль any-llm.

Зачем нужен Otari

• Обеспечивает единый интерфейс для работы с множеством провайдеров, совместимых с OpenAI и Anthropic.
• Управление учетными данными провайдеров происходит непосредственно в шлюзе, что увеличивает безопасность.
• Позволяет создавать отменяемые ключи API с настройками по пользователям, рабочим пространствам и моделям.
• Включает проверки бюджета перед тратами и записи использования после завершения операций.
• Поддерживает локальное управление маршрутами для резервирования, взвешивания и интеллектуального выбора провайдеров.
• Предоставляет дополнительные возможности, такие как выполнение кода, поиск в вебе и понимание файлов.

Установка и запуск

Чтобы быстро запустить временный шлюз, можно использовать Docker:

docker run --rm -p 8000:8000 \
  -e OTARI_MASTER_KEY=SET_A_MASTER_KEY \
  -e OPENAI_API_KEY=YOUR_OPENAI_KEY \
  -e OTARI_CONFIG_YAML='default_pricing: true' \
  mzdotai/otari:latest \
  otari serve

При первом запуске с пустой базой данных Otari создаст API-ключ, который будет выведен на экран. Этот ключ нужно использовать для отправки запросов.

curl http://localhost:8000/v1/chat/completions \
  -H "Authorization: Bearer gw-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai:gpt-4o-mini",
    "messages": [{"role": "user", "content": "Say hello."}]
  }'

Для постоянного хранения данных рекомендуется использовать Docker Compose:

git clone https://github.com/mozilla-ai/otari
cd otari
cp config.example.yml config.yml
# Задай мастер-ключ, учетные данные провайдеров и ценообразование в config.yml.
docker compose pull
docker compose up -d

Режимы работы

• Standalone: Один процесс выполняет управление и обработку с использованием локального хранилища.
• Hosted: Многоарендная система управления; обработка происходит на подключенных шлюзах.
• Hybrid: Шлюз управляет учетными данными и отправляет отчеты о использовании в otari.ai.

Ограничения и требования

При использовании контейнера по умолчанию применяется SQLite, но данные будут утеряны после остановки контейнера. Для поддержки постоянства данных рекомендуется использовать PostgreSQL с Docker Compose. Также ты должен позаботиться о сохранности секретных ключей и правильно настроить конфигурацию.

Важно также отметить, что для работы с OpenAI-клиентами необходимо установить параметр base_url в значение http://localhost:8000/v1.

Проект лицензирован под Apache 2.0, что позволяет использовать его с минимальными ограничениями.