RepoRadar AxonHub: интеграция более 100 LLM через SDK
AxonHub — это open-source AI шлюз, который позволяет использовать более 100 LLM (языковых моделей) через любой SDK. Он включает в себя механизмы фейловера, балансировки нагрузки, контроля затрат и трассировки данных.
Проект решает задачу интеграции с множества AI моделей без необходимости в значительных изменениях кода. Пользователи могут легко подключать нужные им модели и управлять запросами, не заботясь о специфике каждой из них. Это может быть крайне полезно для разработчиков, создающих приложения на основе AI, так как AxonHub минимизирует сложности при работе с различными поставщиками.
AxonHub написан на Go и готов к запуска через Docker. Убедись, что у тебя есть совместимая система, так как в README нет ограничений на платформы, но на данный момент основное внимание уделяется Linux-средам. Будь внимателен: если планируешь использовать проект для коммерческих целей, ознакомься с лицензией, так как могут быть ограничения.
AxonHub — это универсальная платформа для разработки на основе искусственного интеллекта, позволяющая взаимодействовать с различными моделями и SDK без необходимости изменения кода. Проект решает проблему «поставщика услуг», позволяя пользователям быстро переключаться между разными провайдерами моделей, такими как OpenAI, Anthropic и другими, просто меняя конфигурацию.
Зачем он нужен
AxonHub устраняет болевые точки интеграции, такие как «lock-in» к конкретному провайдеру, сложность работы с множеством API и отсутствие инструментов для контроля затрат. С помощью этой платформы можно легко отслеживать запросы, управлять бюджетом и использовать один интерфейс для работы с несколькими поставщиками.
Как устроен
AxonHub позволяет проводить запросы через единое API, которое поддерживает более десяти различных поставщиков. Система обеспечивает:
- 🔄 возможностью работать с любым SDK, позволяя, например, использовать OpenAI SDK для вызовов моделей Claude;
- 🔍 полную трассировку запросов для более легкой диагностики проблем;
- 🔐 доступ на основе ролей с возможностью настройки прав и квот;
- ⚡ умное распределение нагрузки с автоматическим переключением при сбоях;
- 💰 отслеживание затрат в реальном времени для анализа потребляемых ресурсов.
Как поставить и запустить
Для начала работы с AxonHub необходимо выполнить следующие шаги:
1. Разверни AxonHub по инструкции из документации.
2. Перейди по адресу, который предоставит агент, и создай учетную запись администратора.
3. В разделе "Channels" добавь провайдеров и их API ключи.
4. В разделе "API Keys" создай ключ для клиента.
5. Отправь первый запрос, используя предоставленный пример кода.Вот пример подключения:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8090/v1",
api_key="your-axonhub-api-key"
)
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello, AxonHub!"}]
)
print(response.choices[0].message.content)Ограничения
На данный момент AxonHub находится на стадии активной разработки, и некоторые функции, такие как реализация реального диалогового взаимодействия, еще в процессе выполнения. Также стоит учитывать, что для работы с платформой требуется наличие API ключей от поддерживаемых поставщиков.
Для более подробной информации об использовании, настройках и архитектуре проекта можно обратиться к [документации](https://deepwiki.com/looplj/axonhub).
Открыть на GitHub: looplj/axonhub →
