TensorFold — это движок для инференса языковых моделей на Apple Silicon и NVIDIA GPU с использованием Metal и CUDA. Он позволяет запускать модели без ...
Mooncake — это платформа для развертывания Kimi, сервиса на базе больших языковых моделей от Moonshot AI. Она решает проблему эффективного обслуживани...
PegaInfer — это движок для вывода LLM, построенный на Rust и CUDA, который позволяет использовать модели, совместимые с OpenAI, без зависимости от PyT...
vllm.cpp — это C++ движок, ориентированный на сообщество, аналогичный vLLM, предлагающий улучшенные функции, такие как GGUF и Cache-aware scheduling. ...
yzma — это библиотека для интеграции `llama.cpp` в приложения на Go, позволяющая выполнять локальный инференс с аппаратным ускорением.
Проект решает...
Kev — это набор компактных моделей принятия решений, построенных на Qwen3.5, которые ты можешь тренировать и запускать сам. Основная задача проекта — ...
SemIf — это проект для создания семантических условий на основе открытых моделей, который можно запускать на своем GPU, например, на GeForce 3090. Он ...
Hugging Face Transformers — это библиотека для работы с современными моделями машинного обучения, поддерживающая текст, изображения, аудио и многомода...
vllm.cpp — это C++-движок, который является упрощённой альтернативой vLLM и предлагает функционал для работы с LLM без зависимости от Python.
Проект...
cuVS — библиотека для векторного поиска и кластеризации на GPU от NVIDIA. Она предназначена для реализации алгоритмов приближенного поиска ближайших с...
RAFT — это библиотека с основными алгоритмами и примитивами для машинного обучения и информационного поиска, ускоренными с помощью CUDA. Она предназна...