vllm-mlx: высокопроизводительный сервер для языковых моделей на Mac

vllm-mlx: высокопроизводительный сервер для языковых моделей на Mac

vllm-mlx — высокопроизводительный сервер для вывода LLM, совместимый с OpenAI и Anthropic, оптимизированный для Apple Silicon.

Проект нацелен на разработчиков, которые хотят использовать возможности крупных языковых моделей на Mac с чипами Apple. Он выделяется поддержкой непрерывной пакетной обработки, кэширования и контакта с несколькими моделями в одном процессе, что может значительно улучшить производительность по сравнению с альтернативами вроде Ollama или mlx-lm. Здесь ты получаешь полное окружение для работы с текстом, изображениями и аудио без сложных преобразований.

Реализовано на Python 3.10 и выше, запуск начинается с команды pip для установки пакета, а затем запускаешь сервер командой с параметрами для модели. Однако учти, что этот проект может требовать значительных ресурсов, и все еще находится на стадии активной разработки.

Что такое vllm-mlx?

vllm-mlx — это сервер для инференса моделей, разработанный специально для Mac'ов с Apple Silicon. Он объединяет несколько функций, таких как непрерывная пакетная обработка, управление кэшированием и API для работы с моделями OpenAI и Anthropic в одном процессе. Это позволяет запускать языковые модели, модели компьютерного зрения и обработки аудио с использованием Metal и единой памяти без необходимости в конвертации данных.

Как установить и запустить

Для установки vllm-mlx используй следующую команду:

python -m pip install 'vllm-mlx==0.4.1'

После установки сервера его можно запустить с помощью команды:

vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --host 127.0.0.1 --port 8000

Для пользователей OpenAI SDK требуется установить библиотеку openai в своем окружении Python, так как она не устанавливается автоматически с сервером. Затем можно использовать код для выполнения запросов к серверу:

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")
r = client.chat.completions.create(model="mlx-community/Llama-3.2-3B-Instruct-4bit", messages=[{"role": "user", "content": "Hi!"}])
print(r.choices[0].message.content)

Возможности и особенности

Сервер vllm-mlx поддерживает различные API, включая совместимые с OpenAI и Anthropic. Он имеет:

  • Поддержку текстовых, визуальных и аудио моделей в одном сервере.
  • Непрерывную пакетную обработку для повышения пропускной способности.
  • Эффективное управление памятью с использованием кэширования данных на SSD.
  • Поддержку аудио ввода и вывода с помощью встроенных TTS (Text-to-Speech) и STT (Speech-to-Text) функций.
  • Метрики Prometheus для наблюдаемости и мониторинга работы сервера.

Ограничения

vllm-mlx работает только на устройствах с Apple Silicon (M1, M2, M3 и т.д.), так как использует Metal для ускорения вычислений. Этот сервер также требует специфичной конфигурации для некоторых сопутствующих функций, таких как устройства для TTS. Поэтому важно учитывать требования к оборудованию перед использованием vllm-mlx.

Документация и поддержка

Полную документацию проекта можно найти на сайте vllm-mlx.is-a.dev. Там доступны разделы по началу работы, установке, API и другим функциям. Если возникнут вопросы или проблемы, можно обратиться к разделу о внесении вклада, так как проект открыт для участия.

Радар проекта: 71 из 100 — крепкий проект

ИмпульсТемпЗрелостьСообществоСвежестьСтартПродакшенДовериеДокументацияЭкосистема71
  • Импульс 14 ≈ 1 звезда в день
  • Темп разработки 81 99 коммитов за 12 недель
  • Зрелость 77 проекту 11 месяцев, 16 релизов
  • Сообщество 72 66 участников, 236 форков
  • Свежесть 95 последний коммит — 9 дней назад
  • Быстрый старт 75 есть: команда установки, сайт/демо, примеры
  • Готовность к продакшену 75 релиз v0.6.0, автосборка, тесты
  • Безопасность и доверие 55 лицензия Apache-2.0
  • Документация 100 README 14.1 тыс. знаков, 36 разделов, папка docs
  • Экосистема 65 11 подписчиков на обновления, 20 тем
Как считаем

Только открытые данные GitHub на 14.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.

  • Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
  • Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
  • Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
  • Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
  • Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
  • Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
  • Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
  • Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
  • Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
  • Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.

Открыть на GitHub: waybarrios/vllm-mlx →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.
Подписаться

Похожие статьи

Популярные темы на сайте