Octopus: агрегатор API для работы с LLM и провайдерами

Проект Octopus представляет собой сервис агрегации API для LLM (языковых моделей), который позволяет пользователям легко управлять несколькими каналами этих моделей. Основная идея проекта заключается в том, чтобы предоставить аккуратный интерфейс для взаимодействия с различными провайдерами LLM, облегчая процесс интеграции и настройки.

Основные возможности

• 🔀 Мультиканальная агрегация — поддержка нескольких провайдеров LLM с централизованным управлением.
• 🔄 Конвертация протоколов — бесшовный переход между форматами API OpenAI и Anthropic.
• 💰 Синхронизация цен — автоматическое обновление цен на модели.
• 🔃 Синхронизация моделей — автоматическое обновление списка доступных моделей с провайдерами.
• 🛡️ Автоматическое переключение — замена неработающего канала на доступный.
• 🔍 Визуализация запросов — отображение полного пути запроса в реальном времени.
• 🚧 Защита от ошибок — перехват всех ошибок от внешних источников, чтобы задачи агента продолжали выполняться.
• 📊 Аналитика — статистика запросов, потребление токенов и отслеживание затрат.
• 🎨 Элегантный интерфейс — чистая и удобная панель управления.
• 📦 Легковесное развертывание — работает как один бинарный файл, без внешних зависимостей.
• 🗄️ Поддержка нескольких баз данных — поддержка SQLite, MySQL, PostgreSQL.

Установка и запуск

Octopus можно быстро установить несколькими способами:

С помощью Docker

Чтобы запустить Octopus в Docker, выполни следующую команду:

docker run -d --name octopus -v /path/to/data:/app/data -p 8080:8080 bestrui/octopus

Либо можешь использовать docker compose:

wget https://raw.githubusercontent.com/bestruirui/octopus/refs/heads/master/docker-compose.yml
docker compose up -d

Скачивание из релиза

Скачай бинарный файл для своей платформы из Releases, затем запусти:

./octopus start

Сборка из исходников

Для сборки из исходников нужны следующие зависимости:

• Go 1.24.4
• Node.js 18+
• pnpm

Сборка выполняется следующими командами:

git clone https://github.com/bestruirui/octopus.git
cd octopus
cd web && pnpm install && pnpm run build
go run main.go start

Не забудь, что артефакты фронтенда встраиваются в бинарный файл Go, поэтому сборка фронтенда должна выполняться перед запуском бэкенда.

Стандартные учетные данные

После первого запуска открой http://localhost:8080 и войди в панель управления с учетными данными:

• Имя пользователя: admin
• Пароль: admin

Обязательно измени пароль сразу после первого входа.

Конфигурация

Файл конфигурации по умолчанию находится по пути data/config.json и создается автоматически при первом запуске. Для настройки приложения доступны следующие параметры:

• server.host — адрес для прослушивания (по умолчанию 0.0.0.0)
• server.port — порт сервера (по умолчанию 8080)
• database.type — тип базы данных (по умолчанию sqlite)
• database.path — строка соединения с базой данных
• log.level — уровень логирования (по умолчанию info)

Поддерживаются три типа баз данных: SQLite, MySQL и PostgreSQL, с возможностью ручного создания базы данных для MySQL и PostgreSQL.

Ограничения

Важно помнить следующее:

• При завершении работы убедись, что используешь корректные методы отключения, такие как Ctrl+C, чтобы избежать потери данных статистики.
• Если используешь MySQL или PostgreSQL, требуется вручную создать базу данных.

Octopus предоставляет мощный интерфейс для управления API LLM, однако требует некоторой настройки при первоначальном запуске.