SMG: универсальный шлюз для интеграции языковых моделей

Проект SMG (Shepherd Model Gateway) представляет собой высокопроизводительный шлюз для маршрутизации моделей, который не зависит от специфики конкретного движка. Он подходит для крупных развертываний LLM (больших языковых моделей) и предоставляет централизованное управление жизненным циклом рабочих процессов, балансировку нагрузки между самохостингом и облачными провайдерами, а также контроль за многоарендностью, хранением чатов и инструментами наблюдаемости.

SMG объединяет рабочие процессы за одним унифицированным API, что упрощает интеграцию различных моделей и сервисов.

Зачем нужен SMG?

• Максимальная загрузка GPU: Использует кеш-ориентированное маршрутизирование, отслеживая состояние кеша каждого рабочего процесса.
• Один API, любой бэкенд: Позволяет маршрутизировать запросы к самохостингам и популярным API, таким как OpenAI и другие.
• Скорость: Написан на Rust с использованием потоковой передачи gRPC и кэширования.
• Контроль для предприятий: Предоставляет возможность приоритета обработки, управление API-ключами и поддержку WebAssembly.
• Полная наблюдаемость: Поддерживает более 90 метрик Prometheus и трассировку OpenTelemetry.

Быстрый старт

Для установки SMG выбери удобный метод:

# Docker
docker pull lightseekorg/smg:latest

# Kubernetes (Helm)
helm install smg oci://ghcr.io/smg-project/charts/smg

# Python
pip install smg

# Rust (нужен protoc)
cargo install smg

После установки запусти SMG, указав адреса своих рабочих процессов:

# Один рабочий
smg launch --worker-urls http://localhost:8000

# Несколько рабочих с кеш-ориентированным маршрутизированием
smg launch --worker-urls http://gpu1:8000 http://gpu2:8000 --policy cache_aware

# С сетевой высокой доступностью
smg launch --worker-urls http://gpu1:8000 --enable-mesh \
  --mesh-advertise-host 10.0.0.1 --mesh-peer-urls 10.0.0.2:39527

Отправь запросы через шлюз:

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello!"}]}'

Теперь SMG балансирует нагрузки между твоими рабочими процессами.

Поддерживаемые бэкенды

• Самохостящие движки: vLLM, SGLang, TokenSpeed, TensorRT-LLM, MLX и любые совместимые с OpenAI сервера.
• Облачные провайдеры: OpenAI, Anthropic, Google Gemini, xAI и другие совместимые провайдеры.

Особенности

• 10 политики маршрутизации: cache_aware, least_load, round_robin и другие.
• gRPC Pipeline: Поддержка потокового gRPC к движкам с предварительной настройкой и распределением.
• Интеграция MCP: Исполнение инструментов с утверждениями и ведением журнала.
• История чатов: Плагинное хранилище с поддержкой PostgreSQL, Oracle, Redis.
• Расширения через WASM: Возможность добавления пользовательской логики с помощью WebAssembly.

Документация

Подробная документация доступна на сайте lightseek.org/smg.

Как внести вклад

В проекте приветствуются внешние вклады. Ознакомься с руководством по внесению вклада для получения подробной информации.