csghub-server: управление моделями и данными через REST API

csghub-server: управление моделями и данными через REST API

csghub-server — это серверная часть CSGHub, предназначенная для управления моделями и датасетами, а также выполнения задач, связанных с инференсом, дообучением и приложениями.

Проект решает задачу организации работы с большими моделями и ресурсами через REST API, что позволяет не только управлять пользователями и организациями, но и осуществлять поиск и модерацию контента. csghub-server выделяется удобством автоматического тегирования и возможностью онлайн-превью данных. Это решение может быть полезно исследователям, разработчикам и командам, работающим с LLM, желающим упорядочить свои активы и оптимизировать рабочий процесс.

Проект написан на Python и требует установку Docker. Для запуска требуется минимум 4 ядра ЦПУ и 8 ГБ памяти. Обратите внимание, что для работы необходим токен API длиной не менее 128 символов, а тестировалась система в среде Ubuntu 22. Если нужна полноценная организация ваших моделей и данных, csghub-server — неплохой выбор.

Проект `CSGHub Server` является частью платформы управления большими моделями с открытым исходным кодом и нацелен на эффективное управление моделями, наборами данных и другими активами, связанными с LLM (Large Language Model), через REST API.

Ключевые возможности

  • Создание и управление пользователями и организациями.
  • Автоматическая маркировка моделей и наборов данных.
  • Поиск пользователей, организаций, моделей и данных.
  • Онлайн-просмотр файлов наборов данных, таких как файлы в формате `.parquet`.
  • Модерация контента для текста и изображений.
  • Загрузка отдельных файлов, включая файлы LFS (Large File Storage).
  • Отслеживание активности моделей и наборов данных, включая объем загрузок и лайков.

Быстрый старт

Для запуска сервиса `CSGHub Server` необходимо установить Docker. Проект протестирован в среде Ubuntu 22. Для быстрой настройки сервиса с использованием docker-compose можно выполнить следующие команды:


# API-токен должен содержать не менее 128 символов, и HTTP-запросы к csghub-server требуют отправки токена как Bearer для аутентификации.
export STARHUB_SERVER_API_TOKEN=
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

Запуск CSGHub Server локально

CSGHub поддерживает формат TOML для конфигурационных файлов. При запуске любого сервиса из командной строки можно указать конфигурационный файл с помощью опции `--config`:


go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml

В проекте предоставлен пример конфигурационного файла, который можно переименовать, изменить по мере необходимости и использовать. Все доступные настройки определены в соответствующем файле на Go.

Техническая архитектура

Система сочетает в себе расширяемость и возможности настройки:

  • Поддержка различных git-серверов, таких как Gitea и GitLab.
  • Гибкая настройка системы хранения LFS — возможно использование локального хранилища или совместимых сторонних облачных сервисов.
  • Возможность включения модерации контента по запросу с использованием сторонних сервисов.

Ограничения

Проект находится в стадии активной разработки, некоторые функции, такие как конвертация форматов моделей, еще не реализованы. Настройки могут требовать дополнительной конфигурации в зависимости от используемого окружения и специфики проекта.

Радар проекта: 72 из 100 — крепкий проект

ИмпульсТемпЗрелостьСообществоСвежестьСтартПродакшенДовериеДокументацияЭкосистема72
  • Импульс 0 ≈ 0 звёзд в месяц
  • Темп разработки 97 251 коммит за 12 недель
  • Зрелость 99 проекту 2 года, 55 релизов
  • Сообщество 69 50 участников, 230 форков
  • Свежесть 99 последний коммит — 2 дня назад
  • Быстрый старт 60 есть: Docker, сайт/демо
  • Готовность к продакшену 70 релиз v2.6.0-ce, автосборка
  • Безопасность и доверие 60 лицензия Apache-2.0, организация
  • Документация 92 README 5.6 тыс. знаков, 12 разделов, папка docs
  • Экосистема 69 179 подписчиков на обновления, 7 тем
Как считаем

Только открытые данные GitHub на 31.10.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.

  • Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
  • Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
  • Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
  • Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
  • Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
  • Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
  • Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
  • Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
  • Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
  • Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.

Открыть на GitHub: OpenCSGs/csghub-server →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.
Подписаться

Похожие статьи

Популярные темы на сайте