RepoRadar GoModel: унифицированный API для работы с AI-сервисами
GoModel — это AI gateway на Go, который предлагает унифицированный API для работы с различными AI-сервисами, такими как OpenAI, Anthropic и другие. Этот проект решает задачу интеграции различных AI-решений, обеспечивая возможность удобного управления, отслеживания затрат и мониторинга в реальном времени.
GoModel выделяется на фоне аналогов благодаря функционалу, который включает возможность стриминга, умного маршрутизации, защитных механизмов и поддержания "липких" сессий. Он будет полезен разработчикам, которым нужно объединить работу с несколькими AI-поставщиками и обеспечить надежный мониторинг и управление затратами. Чтобы запустить GoModel, достаточно использовать Docker, что упрощает процесс развертывания.
Обрати внимание, проект уже производственный, но указано, что он является альтернативой LiteLLM, который недавно подвергся взлому, и Portkey, который больше не поддерживается. Несмотря на это, стоит уделить внимание документации и тестированию под твои нужды, чтобы убедиться, что он подходит под твой проект.
GoModel — это высокоэффективный шлюз для работы с искусственным интеллектом, который предназначен для экономии ресурсов и оптимизации расходов на обработку запросов к AI. Он представляет собой альтернативу другим шлюзам, таким как LiteLLM и Portkey, предлагая надежный и функциональный инструмент для разработчиков и компаний, использующих AI-технологии.
Проект предлагает ускоренную работу с AI, позволяя кэшировать ответы, отслеживать расходы и реализовывать такие функции, как сжатие запросов и умная маршрутизация. Это делает его полезным инструментом для мониторинга затрат и повышения эффективности использования AI.
Как установить и запустить GoModel
Для начала работы с GoModel необходимо установить и запустить его. Привожу команды для разных операционных систем:
- macOS / Linux:
curl -fsSL https://gomodel.enterpilot.io/install.sh | sh # OPENAI_API_KEY="your-openai-key" # (optional) gomodel - Windows (PowerShell):
irm https://gomodel.enterpilot.io/install.ps1 | iex # $env:OPENAI_API_KEY = "your-openai-key" # (optional) gomodel - Docker:
docker run --rm -p 8080:8080 \ -e OPENAI_API_KEY="your-openai-key" \ enterpilot/gomodel
После установки можно открыть панель управления по адресу:
http://localhost:8080/admin/dashboardДалее, для выполнения запроса к API, используется следующая команда:
curl http://localhost:8080/v1/responses \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-5-chat-latest",
"input": "Hello!"
}'
Поддерживаемые провайдеры LLM
GoModel поддерживает множество провайдеров, включая:
- OpenAI
- Anthropic
- xAI (Grok)
- Google Gemini
- Cohere
- Vertex AI
- и многие другие.
Полный список провайдеров и их возможностей можно найти в документации проекта.
Основные возможности
GoModel предлагает множество функций, среди которых:
- Кэширование ответов для экономии средств.
- Отслеживание затрат и аналитика использования через панель управления.
- Управление бюджетами и ограничениями по запросам.
- Альтернативные маршруты при сбое провайдеров.
- Поддержка аудио и изображений.
Ограничения и коммерческая версия
GoModel Pro — это коммерческая версия, включающая дополнительные функции, такие как сжатие запросов и интеллектуальная маршрутизация. Однако основная версия уже предлагает обширный набор возможностей, подходящих для большинства пользователей.
Несмотря на богатый функционал, пользователям следует учитывать, что при использовании GoModel необходимо правильно настроить окружение и управлять API-ключами для обеспечения корректной работы.
Открыть на GitHub: ENTERPILOT/GoModel →
