Что нового на GitHub — короткие обзоры на русском
обзоров: 1020 стратегий поиска: 5 обновляется ежедневно

Все материалы по теме «инференс»

Популярные теги
Фильтр по тегу: инференс  ✕ Сбросить

TensorFold: инференс языковых моделей на Apple Silicon и NVIDIA GPU

TensorFold — это движок для инференса языковых моделей на Apple Silicon и NVIDIA GPU с использованием Metal и CUDA. Он позволяет запускать модели без ...
Post image

PegaInfer: движок вывода LLM на Rust и CUDA без PyTorch

PegaInfer — это движок для вывода LLM, построенный на Rust и CUDA, который позволяет использовать модели, совместимые с OpenAI, без зависимости от PyT...

MNN: лёгкий движок для инференса моделей машинного обучения

MNN — это лёгкий и быстрый движок для инференса, разработанный Alibaba, который оптимизирован для работы с LLM и Edge AI. Он предназначен для тех, кто...
Post image

Strata: инференс модели Qwen3.8 на игровом ПК

Strata — это движок для инференса модели Qwen3.8, который можно запустить на обычном игровом ПК. Он позволяет запускать мощный AI-модель с 125 миллиар...
Post image

Rapid-MLX: сервер инференса для языковых моделей на Apple Silicon

Rapid-MLX — это сервер инференса для языковых моделей, совместимый с OpenAI и Anthropic, а также Mac-приложение для Apple Silicon, созданное на основе...
Post image

Osmantic Deployment System: локальный AI-сервер для работы с моделями

Оsmantic Deployment System (ODS) — это решение, которое превращает твой ПК, Mac или Linux-устройство в локальный AI-сервер. Проект упрощает настройку ...
Post image

RTP-LLM: движок для инференса больших языковых моделей от Alibaba

RTP-LLM — высокопроизводительный движок для инференса больших языковых моделей от Alibaba. Он оптимизирован для различных приложений и активно использ...
Post image

csghub-server: управление моделями и данными через REST API

csghub-server — это серверная часть CSGHub, предназначенная для управления моделями и датасетами, а также выполнения задач, связанных с инференсом, до...

Kimi K3: высокопроизводительный вывод модели на одном CPU

Kimi K3 — это модель с 2.78 триллиона параметров, работающая на одном CPU с использованием 8.24 ГБ оперативной памяти. Проект написан на C99 и не треб...

xInfer: библиотека для LLM-инференса на Rust без зависимостей

xInfer — это библиотека для быстрой реализации LLM-инференса на чистом Rust без зависимостей от Python и PyTorch. Она решает проблему низкой произво...