vllm-mlx: высокопроизводительный сервер для языковых моделей на Mac
vllm-mlx — высокопроизводительный сервер для вывода LLM, совместимый с OpenAI и Anthropic, оптимизированный для Apple Silicon.
Проект нацелен на разработчиков, которые хотят использовать возможности крупных языковых моделей на Mac с чипами Apple. Он выделяется поддержкой непрерывной пакетной обработки, кэширования и контакта с несколькими моделями в одном процессе, что может значительно улучшить производительность по сравнению с альтернативами вроде Ollama или mlx-lm. Здесь ты получаешь полное окружение для работы с текстом, изображениями и аудио без сложных преобразований.
Реализовано на Python 3.10 и выше, запуск начинается с команды pip для установки пакета, а затем запускаешь сервер командой с параметрами для модели. Однако учти, что этот проект может требовать значительных ресурсов, и все еще находится на стадии активной разработки.
Что такое vllm-mlx?
vllm-mlx — это сервер для инференса моделей, разработанный специально для Mac'ов с Apple Silicon. Он объединяет несколько функций, таких как непрерывная пакетная обработка, управление кэшированием и API для работы с моделями OpenAI и Anthropic в одном процессе. Это позволяет запускать языковые модели, модели компьютерного зрения и обработки аудио с использованием Metal и единой памяти без необходимости в конвертации данных.
Как установить и запустить
Для установки vllm-mlx используй следующую команду:
python -m pip install 'vllm-mlx==0.4.1'
После установки сервера его можно запустить с помощью команды:
vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --host 127.0.0.1 --port 8000
Для пользователей OpenAI SDK требуется установить библиотеку openai в своем окружении Python, так как она не устанавливается автоматически с сервером. Затем можно использовать код для выполнения запросов к серверу:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")
r = client.chat.completions.create(model="mlx-community/Llama-3.2-3B-Instruct-4bit", messages=[{"role": "user", "content": "Hi!"}])
print(r.choices[0].message.content)
Возможности и особенности
Сервер vllm-mlx поддерживает различные API, включая совместимые с OpenAI и Anthropic. Он имеет:
- Поддержку текстовых, визуальных и аудио моделей в одном сервере.
- Непрерывную пакетную обработку для повышения пропускной способности.
- Эффективное управление памятью с использованием кэширования данных на SSD.
- Поддержку аудио ввода и вывода с помощью встроенных TTS (Text-to-Speech) и STT (Speech-to-Text) функций.
- Метрики Prometheus для наблюдаемости и мониторинга работы сервера.
Ограничения
vllm-mlx работает только на устройствах с Apple Silicon (M1, M2, M3 и т.д.), так как использует Metal для ускорения вычислений. Этот сервер также требует специфичной конфигурации для некоторых сопутствующих функций, таких как устройства для TTS. Поэтому важно учитывать требования к оборудованию перед использованием vllm-mlx.
Документация и поддержка
Полную документацию проекта можно найти на сайте vllm-mlx.is-a.dev. Там доступны разделы по началу работы, установке, API и другим функциям. Если возникнут вопросы или проблемы, можно обратиться к разделу о внесении вклада, так как проект открыт для участия.
Радар проекта: 71 из 100 — крепкий проект
- Импульс 14 ≈ 1 звезда в день
- Темп разработки 81 99 коммитов за 12 недель
- Зрелость 77 проекту 11 месяцев, 16 релизов
- Сообщество 72 66 участников, 236 форков
- Свежесть 95 последний коммит — 9 дней назад
- Быстрый старт 75 есть: команда установки, сайт/демо, примеры
- Готовность к продакшену 75 релиз v0.6.0, автосборка, тесты
- Безопасность и доверие 55 лицензия Apache-2.0
- Документация 100 README 14.1 тыс. знаков, 36 разделов, папка docs
- Экосистема 65 11 подписчиков на обновления, 20 тем
Как считаем
Только открытые данные GitHub на 14.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: waybarrios/vllm-mlx →
RepoRadar