Что нового на GitHub — короткие обзоры на русском
обзоров: 1050 стратегий поиска: 5 обновляется ежедневно

Все материалы по теме «vllm»

Популярные теги
Фильтр по тегу: vllm  ✕ Сбросить
Post image

vLLM Metal: запуск vLLM на чипах Apple Silicon с MLX

vLLM Metal — это аппаратный плагин для запуска vLLM на чипах Apple Silicon, использующий MLX в качестве основного вычислительного бекенда. Он обеспечи...

llamactl: управление моделями машинного обучения с веб-панелью

llamactl — это инструмент для управления и маршрутизации моделей llama.cpp, MLX и vLLM, с удобной веб-панелью. Он упрощает работу с несколькими моделя...
Post image

vLLM: развертывание больших языковых моделей на платформе Runpod

Это шаблон рабочего процесса для развертывания больших языковых моделей (LLM) с использованием vLLM на платформе Runpod. Он позволяет создать совмести...