ThoughtDAG — это инструмент для создания интерактивных карт мыслей, где разговоры с языковыми моделями трансформируются в узлы, соединённые контекстны...
Проект LoLLMs WebUI — это веб-интерфейс для работы с крупномасштабными языковыми и мультимодальными моделями. Он предназначен для локального использов...
vllm.cpp — это C++ движок, ориентированный на сообщество, аналогичный vLLM, предлагающий улучшенные функции, такие как GGUF и Cache-aware scheduling. ...
EvalScope — это фреймворк для оценки и бенчмаркинга крупных моделей (LLM, VLM, AIGC) с упрощённой настройкой. Он решает задачу проверки производительн...
Это бенчмарк для оценки, как хорошо языковые модели (LLM) справляются с созданием коротких рассказов, включающих 10 обязательных элементов сюжета. Он ...
Rapid-MLX — это сервер инференса для языковых моделей, совместимый с OpenAI и Anthropic, а также Mac-приложение для Apple Silicon, созданное на основе...
Это шаблон рабочего процесса для развертывания больших языковых моделей (LLM) с использованием vLLM на платформе Runpod. Он позволяет создать совмести...
LMDeploy — это инструмент для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он упрощает процесс оптимизации и внедрения LLM в п...
Mesh LLM — это распределённая система для работы с искусственным интеллектом и языковыми моделями, предназначенная для совместного использования вычис...
Inference Gateway — это облачно-ориентированный и высокопроизводительный шлюз для объединения нескольких провайдеров LLM, от локальных решений, таких ...
Kimi K3 — это модель с 2.78 триллиона параметров, работающая на одном CPU с использованием 8.24 ГБ оперативной памяти. Проект написан на C99 и не треб...
llm-d — это высокопроизводительный стек для распределённого сервинга вывода, оптимизированный для работы на Kubernetes. Он помогает достигнуть максима...