LLM Gateway: API-шлюз для работы с крупными языковыми моделями

LLM Gateway — это открытый API-шлюз для больших языковых моделей (LLMs). Он работает как промежуточное ПО между твоими приложениями и различными провайдерами LLM, позволяя:

• Направлять запросы к нескольким провайдерам LLM (таким как OpenAI, Anthropic, Google Vertex AI и другим);
• Управлять API-ключами для разных провайдеров из одного места;
• Отслеживать использование токенов и затраты по всем взаимодействиям с LLM;
• Анализировать метрики производительности для оптимизации использования LLM.

Основные возможности

• Унифицированный API интерфейс: Совместимость с форматом API OpenAI для плавной миграции.
• Аналитика использования: Отслеживание запросов, использованных токенов, времени ответа и затрат.
• Поддержка нескольких провайдеров: Подключай различные LLM-провайдеры через один шлюз.
• Мониторинг производительности: Сравнение производительности и рентабельности различных моделей.

Как начать использовать

Ты можешь использовать LLM Gateway двумя способами:

• Хостинговая версия: Для немедленного использования без настройки перейди на llmgateway.io, чтобы создать аккаунт и получить API-ключ.
• Самостоятельный хостинг: Разверни LLM Gateway на своей инфраструктуре для полного контроля над данными и конфигурацией.

Самостоятельный хостинг с Docker

Используй Docker для управления томами для создания единого образа. Не привязывай директорию хоста напрямую к `/var/lib/postgresql/data`, так как инициализация PostgreSQL внутри контейнера требует установки прав доступа к этой директории.

export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
./scripts/run-unified-container.sh

Если предпочитаешь одноразовую команду docker run, используй именованные тома вместо ~/some-host-dir:

docker volume create llmgateway_postgres
docker volume create llmgateway_redis

docker run -d \
  --name llmgateway \
  --restart unless-stopped \
  -p 3002:3002 \
  -p 3003:3003 \
  -p 3005:3005 \
  -p 3006:3006 \
  -p 3007:3007 \
  -p 4001:4001 \
  -p 4002:4002 \
  -v llmgateway_postgres:/var/lib/postgresql/data \
  -v llmgateway_redis:/var/lib/redis \
  -e AUTH_SECRET="$LLM_GATEWAY_SECRET" \
  -e GATEWAY_API_KEY_HASH_SECRET="$GATEWAY_API_KEY_HASH_SECRET" \
  ghcr.io/theopenco/llmgateway-unified:latest

Использование API LLM Gateway

Пример запроса к API:

curl -X POST https://api.llmgateway.io/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LLM_GATEWAY_API_KEY" \
  -d '{
  "model": "gpt-4o",
  "messages": [
    {"role": "user", "content": "Hello, how are you?"}
  ]
}'

Настройка для разработки

Чтобы настроить среду разработки, выполни следующие шаги:

pnpm i && pnpm run setup

Эта команда установит все зависимости, запустит Docker-сервисы, синхронизирует схему базы данных и загрузит начальные данные.

Примечание для пользователей WSL2: Убедись, что Docker Desktop запущен с включенной интеграцией WSL.

Затем запусти сервер для разработки:

pnpm dev

Для сборки в продуктив:

pnpm build

Лицензия

LLMGateway доступен по двойной лицензии:

• Открытый исходный код: Основная функциональность лицензирована под AGPLv3.
• Корпоративная лицензия: Коммерческие функции в директории ee/ требуют корпоративной лицензии; администрирование многоорганизаций требует лицензии с белой меткой.

Для корпоративного лицензирования свяжись с нами по адресу contact@llmgateway.io.