GPUStack: менеджер кластеров GPU для развертывания AI-моделей

GPUStack — это открытый менеджер кластеров GPU, который предназначен для обслуживания ИИ-моделей и создания GPU-инстансов по запросу. Он управляет и настраивает движки вывода, такие как vLLM, SGLang и TensorRT-LLM, позволяя запускать GPU-инстансы с доступом по SSH по мере необходимости. Основные возможности проекта включают в себя:

• Управление многими кластерами GPU. GPUStack работает с кластерами GPU как на физических серверах, так и в Kubernetes или облачных средах, поддерживая разделение GPU для развертывания моделей и GPU-инстансов с настраиваемыми ресурсами.
• Встраиваемые движки вывода. Автоматическая настройка высокопроизводительных движков, а также возможность добавления пользовательских движков.
• Поддержка новых моделей. Вы можете развернуть новые модели сразу после их выпуска благодаря модульной архитектуре.
• Оптимизированные конфигурации производительности. Гибкие настройки для низкой задержки и высокой пропускной способности, поддержка автоматического кеширования и ряд вспомогательных методов вывода.
• Встроенный бенчмаркинг. Инструменты для автоматической настройки нагрузки и достижения пиковых значений производительности.
• GPU-инстансы. Возможность запуска SSH-доступных GPU-инстансов по запросу.
• Операции для предприятий. Поддержка автоматического восстановления после сбоев, балансировки нагрузки, мониторинга и управления доступом.

Архитектура

GPUStack обеспечивает работу с Model-as-a-Service в масштабах предприятия. Он поддерживает стандартные API для моделей LLM, голосовых, визуальных и видеомоделей, включая механизмы аутентификации и мониторинга в реальном времени. Платформа также включает дашборды для мониторинга состояния системы с помощью Grafana и Prometheus.

Быстрый старт

Предварительные требования

• Убедись, что у тебя есть узел с хотя бы одной видеокартой NVIDIA. Для других типов GPU посмотри руководство в интерфейсе GPUStack.
• Установи драйвер NVIDIA, Docker и NVIDIA Container Toolkit на узле.
• (Дополнительно) Убедись, что у тебя есть узел CPU для хостинга сервера GPUStack, или установи его на том же узле, что и GPU worker.
• Поддерживается только Linux для узлов GPU. Если ты используешь Windows, рекомендуем WSL2.

Установка GPUStack

Запусти следующую команду для установки и запуска сервера GPUStack через Docker:

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    -p 80:80 \
    --volume gpustack-data:/var/lib/gpustack \
    gpustack/gpustack

Проверь логи запуска GPUStack:

sudo docker logs -f gpustack

После старта получи пароль администратора:

sudo docker exec gpustack cat /var/lib/gpustack/initial_admin_password

Открой браузер и перейди по адресу http://your_host_ip, чтобы получить доступ к интерфейсу GPUStack, используя логин admin и полученный пароль.

Развертывание модели

• Перейди на страницу Catalog в интерфейсе GPUStack, выбери модель Qwen3.5-0.8B и следуй инструкциям для развертывания.
• После успешного развертывания статус модели изменится на Running.
• Зайдите в раздел Playground - Chat, чтобы протестировать модель.

Использование модели через API

Для доступа к OpenAI-совместимым API-ендпоинтам:

export GPUSTACK_API_KEY=your_api_key
curl http://your_gpustack_server_url/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $GPUSTACK_API_KEY" \
  -d '{
    "model": "qwen3.5-0.8b",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Tell me a joke."
      }
    ],
    "stream": true
  }'

Ограничения

GPUStack в настоящее время поддерживает только Linux для рабочих узлов GPU. Windows (без WSL2) и macOS не поддерживаются. Убедись, что соблюдены все требования и рекомендации для успешной работы системы.