RepoRadar Mesh LLM: распределённая система для работы с языковыми моделями
Mesh LLM — это распределённая система для работы с искусственным интеллектом и языковыми моделями, предназначенная для совместного использования вычислительных ресурсов. Она позволяет объединять GPU и память с разных машин, предоставляя единый API, совместимый с OpenAI.
Проект решает проблему нехватки ресурсов для запуска требовательных моделей, позволяя пользователям как локально, так и через публичные сети делиться вычислительными мощностями и модельными данными. Это может быть полезно для стартапов и исследователей, которые хотят избежать значительных затрат на инфраструктуру и получить доступ к огромным вычислительным мощностям. В отличие от облачных сервисов, здесь можешь управлять ресурсами автономно и максимально гибко, адаптируя под свои нужды.
Mesh LLM написан на Python и предоставляет возможность установки через Bash или PowerShell. Всё, что нужно — это выполнить установочные скрипты и запустить команду mesh-llm serve --auto для начала работы. У проекта есть ограничения — он пока не поддерживает окна по умолчанию и требует собственных вычислительных мощностей.
Проект Mesh LLM представляет собой распределённую систему, которая объединяет GPU и память с нескольких машин и предоставляет единый API, совместимый с OpenAI, по адресу `http://localhost:9337/v1`. Ты можешь начать с одного узла и добавлять больше по мере необходимости. Система сможет сама определить, где запускать модель: локально, на соседнем узле или разбивая модель на части с помощью технологий, таких как Skippy, если она слишком большая для одного узла.
Начало работы
Чтобы установить последнюю версию программы, воспользуйся следующей командой:
curl -fsSL https://raw.githubusercontent.com/Mesh-LLM/mesh-llm/main/install.sh | bashДля Windows используй PowerShell:
irm https://raw.githubusercontent.com/Mesh-LLM/mesh-llm/main/install.ps1 | iexТакже проект поддерживает установку через Homebrew для Apple Silicon:
brew install Mesh-LLM/tap/mesh-llmЗаверши установку, выполнив:
mesh-llm setupНа Windows PowerShell команда будет выглядеть так:
mesh-llm.exe setupПосле окончания установки присоединись к публичной сети и запусти службу:
mesh-llm serve --autoЭта команда выбирает подходящую бэкенд-версию, загружает нужную модель при необходимости и запускает API на порту `9337`, а веб-консоль — на порту `3131`.
Как работает Mesh LLM
- Локальная установка: Если один узел может разместить полную модель, она обслуживается локально.
- Маршрутизация: Каждый узел открывает тот же API `/v1`. Запросы направляются по полю `model` к узлу, способному обслуживать данную модель.
- Шифрование: Используется протокол QUIC для шифрования трафика между узлами.
- Управление: Все конфиги и действия с инвентарём происходят в защищённой среде, в то время как общая маршрутизация и инференция работают в публичной сети.
- Разделение загрузки: Большие модели могут загружаться поэтапно, что позволяет эффективно использовать ресурсы.
Ограничения
При использовании режима local model only (только локальная модель) необходимо указать абсолютный путь к файлу `.gguf`, и модели из каталога Hugging Face могут быть отклонены. Также стоит учитывать, что в этом режиме не работают функции, связанные с сетевым взаимодействием и управление узлами.
Поддерживаемые модели
Mesh LLM поддерживает множество семейств моделей, включая Qwen, Llama, GLM и другие. Возможности разделённого мультимодального обслуживания сертифицированы для нескольких моделей, таких как Qwen-VL и DeepSeek-OCR. Более подробную информацию можно найти в документации по состоянию моделей.
Документация и поддержка
Для получения дополнительной информации о настройке и использовании проекта ты можешь обратиться к документации, которая охватывает различные аспекты, включая установку, использование Skippy для больших моделей, а также работу с агентами. Основная документация находится по адресу: meshllm.cloud/docs.
Радар проекта: 77 из 100 — зрелый и живой проект
- Импульс 37 ≈ 6 звёзд в день
- Темп разработки 100 898 коммитов за 12 недель
- Зрелость 82 проекту 9 месяцев, больше 100 релизов
- Сообщество 73 49 участников, 479 форков
- Свежесть 99 последний коммит — 1 день назад
- Быстрый старт 65 есть: команда установки, сайт/демо
- Готовность к продакшену 55 релиз v0.78.0-preview.40959817943.1, автосборка
- Безопасность и доверие 100 лицензия Apache-2.0, SECURITY.md, организация
- Документация 100 README 19.1 тыс. знаков, 17 разделов
- Экосистема 61 19 подписчиков на обновления, 5 тем
Как считаем
Только открытые данные GitHub на 31.10.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: Mesh-LLM/mesh-llm →
