TensorFold — это движок для инференса языковых моделей на Apple Silicon и NVIDIA GPU с использованием Metal и CUDA. Он позволяет запускать модели без ...
PegaInfer — это движок для вывода LLM, построенный на Rust и CUDA, который позволяет использовать модели, совместимые с OpenAI, без зависимости от PyT...
MNN — это лёгкий и быстрый движок для инференса, разработанный Alibaba, который оптимизирован для работы с LLM и Edge AI. Он предназначен для тех, кто...
Strata — это движок для инференса модели Qwen3.8, который можно запустить на обычном игровом ПК. Он позволяет запускать мощный AI-модель с 125 миллиар...
Rapid-MLX — это сервер инференса для языковых моделей, совместимый с OpenAI и Anthropic, а также Mac-приложение для Apple Silicon, созданное на основе...
Оsmantic Deployment System (ODS) — это решение, которое превращает твой ПК, Mac или Linux-устройство в локальный AI-сервер. Проект упрощает настройку ...
RTP-LLM — высокопроизводительный движок для инференса больших языковых моделей от Alibaba. Он оптимизирован для различных приложений и активно использ...
csghub-server — это серверная часть CSGHub, предназначенная для управления моделями и датасетами, а также выполнения задач, связанных с инференсом, до...
Kimi K3 — это модель с 2.78 триллиона параметров, работающая на одном CPU с использованием 8.24 ГБ оперативной памяти. Проект написан на C99 и не треб...
xInfer — это библиотека для быстрой реализации LLM-инференса на чистом Rust без зависимостей от Python и PyTorch.
Она решает проблему низкой произво...