RepoRadar Agent Router: единый API для доступа к сервисам генеративного ИИ
Agent Router — это инструмент для унифицированного доступа к сервисам генеративного ИИ, построенный на базе Envoy Gateway. Он позволяет командам разработки получить единый API для работы со всеми моделями и инструментами, как хостинговыми, так и самостоятльно размещёнными.
Главная особенность Agent Router заключается в управлении маршрутизацией, квотами и атрибуцией использования сервисов, что упрощает интеграцию и выполнение задач. В отличие от других решений, здесь используются существующие API и CLI команды, что снижает порог входа для команд, уже работающих с Envoy. Это может быть полезно как для разработчиков приложений, так и для платформенных команд, которые контролируют доступ и использование ИИ-сервисов.
Запускается проект на Kubernetes с использованием Helm графиков. Не забудь, что проект находится под лицензией Apache 2.0 и имеет возможность интеграции с уже существующими сервисами, что делает его удобным для команд, уже использующих инфраструктуру Envoy.
Проект Agent Router представляет собой открытое решение для управления трафиком AI и агентов, основанное на Envoy. Это проект фонда Agentic AI, ранее известный как Envoy AI Gateway. Основная задача Agent Router — предоставить единый совместимый с OpenAI API для всех моделей и инструментов, начиная от хостинговых поставщиков и заканчивая собственными серверами.
Agent Router позволяет командам приложений управлять учетными данными, маршрутизацией, квотами, резервированием и атрибуцией использования из одного места, используя возможности Envoy.
Как установить и запустить
Ты можешь быстро запустить Agent Router на своём ноутбуке, выполнив следующую команду:
OPENAI_API_KEY=sk-your-key aigw runПосле этого ты сможешь обращаться к любому клиенту, совместимому с OpenAI, по адресу http://localhost:1975/v1. Для дополнительных инструкций по установке и конфигурации провайдеров можно ознакомиться с [CLI руководством](https://theagentrouter.ai/docs/cli/) или с [Getting Started руководством](https://theagentrouter.ai/docs/getting-started/) для развертывания на Kubernetes с Envoy Gateway.
Структура и использование
Agent Router организует взаимодействие по модели с двумя уровнями шлюза:
- Первый уровень шлюза: действует как централизованная точка входа, обрабатывая аутентификацию, верхний уровень маршрутизации и глобальное ограничение скорости.
- Второй уровень шлюза: предоставляет возможность тонкой настройки доступа к моделям, развернутым на собственных серверах, и поддерживает выбор конечных точек для оптимизации вывода больших языковых моделей (LLM).
Поддерживаемые AI провайдеры
Agent Router поддерживает множество AI провайдеров, что упрощает интеграцию с предпочтительными сервисами LLM. Список включает:
- OpenAI
- Azure OpenAI
- Google Gemini
- Vertex AI
- AWS Bedrock
- Mistral
- Cohere
- Groq
- Together AI
- DeepInfra
- DeepSeek
- Hunyuan
- SambaNova
- Grok
- Anthropic
Ограничения
Хоть Agent Router и предоставляет мощные возможности для маршрутизации и управления AI трафиком, он сохраняет ряд характеристик и ограничений, унаследованных от ранее существовавшего Envoy AI Gateway. Например, CLI по-прежнему называется aigw, а API группы и CRD остаются неизменными. Это означает, что для существующих пользователей все уже развернутые решения останутся актуальными без необходимости их перенастройки.
Если ты планируешь использовать Agent Router, важно ознакомиться с документацией, доступной на [официальном сайте](https://theagentrouter.ai/docs), чтобы максимально эффективно использовать все функции проекта.
Открыть на GitHub: theagentrouter/agent-router →
