RepoRadar vllm.cpp: C++-движок для работы с LLM без Python
vllm.cpp — это C++-движок, который является упрощённой альтернативой vLLM и предлагает функционал для работы с LLM без зависимости от Python.
Проект решает задачу оптимальной обработки токенов с использованием технологии непрерывной пакетной обработки и хранения данных в виде страниц. В отличие от некоторых аналогов, vllm.cpp ориентирован на различные архитектуры, включая CUDA, CPU, Metal и Vulkan, делая его более универсальным и доступным для разработчиков без GPU. Так же он предлагает меньшее время установки и потребление ресурсов, при этом сохраняя высокую производительность.
Запускается проект достаточно просто: нужно лишь установить зависимости и использовать CMake. Однако стоит учесть, что vllm.cpp всё еще находится на ранних стадиях разработки, что значит возможные изменения в API и COM интерфейсе. Если тебе нужны стабильные решения с надежной поддержкой, этот проект может не подойти.
Проект vllm.cpp — это C++20 движок для инференса, который создается с целью предоставить высокую производительность и компактный размер. Его вес всего 66 МБ в сравнении с 9,1 ГБ у vLLM, а также он обеспечивает аналогичную скорость обработки токенов. В проекте отсутствует Python, что делает его более легковесным и подходящим для работы на аппаратном обеспечении, которое уже есть у пользователей.
Зачем это нужно: vllm.cpp стремится объединить лучшие черты различных платформ для работы с языковыми моделями, обеспечивая производительность и удобство в использовании. Он реализует непрерывную обработку, управление блоками KV (ключ-значение), автоматическое кеширование префиксов и спекулятивное декодирование. Это делает его мощным инструментом для разработчиков, которые хотят использовать языковые модели без необходимости в установке сложных сред.
Установка и запуск
Для установки vllm.cpp потребуется CMake (версии не ниже 3.24) и компилятор C++20. Процесс сборки осуществляется с использованием следующих команд:
cmake -S . -B build && cmake --build build -j # Базовая сборка для CPU
ctest --test-dir buildЧтобы собрать проект для NVIDIA GB10, используй команду:
cmake -S . -B build-cuda -DVLLM_CPP_CUDA=ONЗапустить инференс можно с помощью следующей команды:
build/examples/vllm-cli --model /path/to/Qwen3.6-27B --prompt "The capital of France is" --max-tokens 64Возможности
Проект нацелен на поддержку нескольких архитектур и достоинств, среди которых:
- Поддержка более 44 архитектур.
- Сравнительно низкий размер бинарного файла (66 МБ).
- Отсутствие зависимостей от Python или PyTorch.
- Поддержка различных back-end, таких как CUDA, Metal и Vulkan.
- Спекулятивное декодирование и продвинутое управление кэшем.
Ограничения
Несмотря на впечатляющие характеристики, проект находится на ранних стадиях разработки, что может привести к изменениям в его функционале и API. Поэтому при использовании последней версии из ветки `main` важно ожидать возможные ошибки и изменения. Важно также отметить, что функциональность на некоторых архитектурах и устройствах может быть еще не завершена.
Заключение
vllm.cpp предлагает мощное решение для разработчиков, ищущих легковесный и быстрый движок для работы с языковыми моделями. Он сочетает в себе лучшие качества существующих технологий, избегая при этом сложных зависимостей, что делает его удобным для использования в различных средах. Если ты ищешь оптимальный инструмент для инференса с LLM без больших накладных расходов, vllm.cpp может быть отличным выбором.
Радар проекта: 11 из 100 — эксперимент
- Импульс 0 ≈ 0 звёзд в месяц
- Темп разработки — GitHub ещё считает статистику
- Зрелость 0 возраст неизвестен, релизов нет
- Сообщество 0 участники неизвестны, 0 форков
- Свежесть 0 последний коммит — неизвестно когда
- Быстрый старт 20 инструкции по запуску не нашли
- Готовность к продакшену 0 ни релизов, ни тестов не видно
- Безопасность и доверие 10 без лицензии
- Документация 70 README 35.5 тыс. знаков, 22 раздела
- Экосистема 0 0 подписчиков на обновления, 0 тем
Как считаем
Только открытые данные GitHub на 07.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: mudler/vllm.cpp →
