vLLM Metal — это аппаратный плагин для запуска vLLM на чипах Apple Silicon, использующий MLX в качестве основного вычислительного бекенда. Он обеспечи...
MLC LLM — это движок для развертывания больших языковых моделей с использованием компиляции машинного обучения. Он позволяет разработчикам оптимизиров...
LearnHarness — это инструмент, который использует AI-агентов для создания индивидуализированных учебных процессов, адаптируясь к твоему уровню пониман...
GenieX — это платформа для запуска передовых LLM и VLM на устройствах Qualcomm, использующая NPU, GPU и CPU. Цель проекта — упростить использование со...
MindWork AI Studio — это кроссплатформенное настольное приложение для работы с локальными и облачными моделями искусственного интеллекта (LLM). Проект...
llamactl — это инструмент для управления и маршрутизации моделей llama.cpp, MLX и vLLM, с удобной веб-панелью. Он упрощает работу с несколькими моделя...
Infinity — это высокопроизводительный REST API для обслуживания текстовых эмбеддингов и моделей переоценки. Он предназначен для разработчиков, которым...
lampOS — это операционная система для физических AI-агентов, создающая среду для управления роботами и взаимодействия с внешним миром. Проект стремитс...
Mooncake — это платформа для развертывания Kimi, сервиса на базе больших языковых моделей от Moonshot AI. Она решает проблему эффективного обслуживани...
Mosec — это фреймворк для высокопроизводительного сервинга моделей машинного обучения, предлагающий динамическую пакетную обработку и оптимизированные...
Sage — это расширяемый фреймворк для создания собственных саморазвивающихся AI-агентов с возможностью конфигурации пакетов, инструментов и навыков. Эт...
Flutter Edge AI — это библиотека для создания локальных AI-приложений на Flutter, поддерживающая работу с моделями машинного обучения, включая текст, ...