RepoRadar DeepInfer: высокопроизводительный фреймворк для инференса DeepSeek моделей
DeepInfer — это высокопроизводительный фреймворк для инференса моделей DeepSeek, подходящий для больших масштабов. Он предназначен для оффлайн-инференса и обеспечивает необходимые функции для работы в производственной среде.
Проект выделяется среди альтернатив благодаря своей оптимизированной архитектуре и поддержке таких функций, как асинхронное планирование и детерминированная выборка. Оно позволяет обрабатывать данные более эффективно, чем традиционные подходы, используя стратегию параллелизма и оптимизации работы с памятью. DeepInfer может быть интересен разработчикам, работающим с моделями глубокого обучения, которым нужно быстрое и надежное решение для инференса на больших объемах данных.
Проект написан на Python и использует такие компоненты, как FlashMLA и DeepGEMM для оптимизации. Запуск подразумевает настройку переменных окружения и простую конфигурацию. На данный момент проект больше ориентирован на пользователей платформы NVIDIA, но ограничений в доступности для других платформ нет. Учти, что это еще не финальная версия, и проект находится на стадии активной разработки.
Проект DeepInfer представляет собой высокопроизводительный фреймворк для инференса, который служит основой для крупномасштабных производственных сервисов компании DeepSeek. Это open-source решение предоставляет возможности оффлайн инференса с ключевыми функциями для работы на большом масштабе.
Поддерживаемые модели и функции
DeepInfer поддерживает модель DeepSeek-V4.1-Flash и обладает рядом оптимизированных функций:
- Оптимизированные ядра и время работы модели и выборки.
- Параллелизм: Attention DP, сбалансированные CP, MoE EP и EPLB.
- Асинхронное планирование (планировщик нулевой нагрузки).
- Детерминированная выборка, что позволяет получать одинаковые результаты при идентичных входных токенах.
- Структурированные выходы с использованием регулярных выражений или схем JSON.
Однако для полноценного сервиса инференса нужны дополнительные компоненты, такие как система кэширования и балансировка нагрузки.
Системные требования
Для работы с DeepInfer необходимо иметь следующее:
- ОС: Linux
- GCC версии не ниже 13.0
- Python версии 3.12
- CUDA 13 (только для NVIDIA)
- CANN 9.2 (только для Ascend)
Установка и запуск
Для сборки DeepInfer из исходников сначала создай и активируй пустую среду Python 3.12:
# Используй `ascend` вместо этого для платформы Ascend
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
Чтобы запустить оффлайн инференс, используй следующую команду:
python examples/offline_inference.py
При первом запуске будет загружен контрольный набор данных из Hugging Face. При желании, можно указать локальный путь к модели.
Ограничения и производительность
DeepInfer требует наличия дополнительных компонентов для полноценной работы сервиса: системы кэширования и распределения нагрузки, которые не включены в это выпуск. Есть вероятность, что не все функции будут работать на других железах, кроме указанных: NVIDIA SM100 и Huawei Ascend 950.
Для оценки производительности можно ознакомиться с графиками, которые показывают throughput и latency при различных нагрузках.
DeepInfer доступен под лицензией Apache 2.0. Этот проект был создан на основе vLLM и получил вдохновение из других технологий, таких как SGLang и TensorRT-LLM.
Открыть на GitHub: deepseek-ai/DeepInfer →
