vllm-mlx — высокопроизводительный сервер для вывода LLM, совместимый с OpenAI и Anthropic, оптимизированный для Apple Silicon.
Проект нацелен на раз...
Numa — это портативный DNS-резольвер на Rust, который позволяет блокировать рекламу и создавать локальные доменные имена в одном бинарнике.
Он решае...
LeanCTX — это система управления контекстом для AI-агентов, которая помогает оптимизировать взаимодействие с кодом.
Проект решает проблему избыточны...
Unified Cache Management — это инструмент для сохранения и повторного использования кэша ключ-значение (KV), чтобы ускорить работу твоих моделей глубо...
Urocissa — это саморазвёртывающаяся фотогалерея, способная обрабатывать миллионы изображений и видео. Она разработана на Rust и Vue и предназначена дл...
llm-d — это высокопроизводительный стек для распределённого сервинга вывода, оптимизированный для работы на Kubernetes. Он помогает достигнуть максима...