llm-d — это высокопроизводительный стек для распределённого сервинга вывода, оптимизированный для работы на Kubernetes. Он помогает достигнуть максима...
xInfer — это библиотека для быстрой реализации LLM-инференса на чистом Rust без зависимостей от Python и PyTorch.
Она решает проблему низкой произво...