RepoRadar Lumabri: объединение компьютеров в локальный кластер для ИИ-моделей
Lumabri — инструмент для объединения нескольких компьютеров в локальный кластер для запуска больших ИИ-моделей. Это решение подходит для разработчиков, которые хотят использовать ресурсы нескольких машин для обработки сложных задач, не полагаясь на облачные сервисы.
Проект использует C и зависит от Colibri. Он позволяет настраивать доступ к ресурсам, легко формировать заявки на выделение вычислительных мощностей между участниками кластера. В отличие от стандартных решений, Lumabri создан именно для “домашних” кластеров, что позволяет более эффективно использовать имеющееся оборудование.
Это решение требует наличие стабильного LAN-соединения и запуска с совместимой версией Colibri. Также стоит вспомнить, что в репозитории нет упоминания о поддержке Windows или MacOS, так что придется работать на Linux. Если у вас есть несколько компьютеров под рукой и желание использовать их для ИИ-экспериментов, Lumabri стоит попробовать.
Проект Lumabri позволяет объединять компьютеры в частный кластер внутри одного домохозяйства. Он работает с использованием системы Colibri и позволяет пользователям делиться вычислительными ресурсами между своими устройствами. Пользователь выбирает модель, определяет компьютеры, которые могут участвовать в вычислениях, и запрашивает их владельцев на предоставление ресурсов. Все интерфейсы и выполнение программного кода написаны на C.
Установка и запуск
Чтобы запустить Lumabri, необходимо сначала собрать его из исходников с совместимой версией Colibri. Для этого выполни следующие команды:
make ENGINE=/path/to/colibri/c
./lumabri
При запуске используй клавиши стрелок и клавишу Enter для навигации. Клавиша **/** открывает действия в рабочем пространстве, а клавиша **Esc** возвращает назад. Рекомендуется использовать терминал с шириной не менее 60 колонок и высотой не менее 28 строк.
Как работать с Lumabri
После запуска Lumabri пользователи должны выполнить следующие шаги:
- На одном компьютере открой **/ → /create** для создания домашнего сервиса.
- На других компьютерах открой **/ → /join** и выбери домашнее хозяйство, найденное в локальной сети (LAN).
- Открой **/settings**, чтобы настроить максимальное количество RAM, которое ты готов предоставить.
- Выбери доноров и модель, а затем запроси их одобрение на использование ресурсов.
Важно, что все компьютеры должны иметь прямое соединение в локальной сети для корректной работы. Возможны ограничения, связанные с брандмауэрами и сетевыми настройками, такими как изоляция гостевой Wi-Fi или режим NAT в WSL, которые могут помешать обнаружению и соединению.
Функциональность и ограничения
Lumabri позволяет распределять вычислительные задачи между несколькими компьютерами. Каждый компьютер может предлагать свои ресурсы (ЦП и RAM) и участвовать в выполнении моделей. Однако, добавление компьютеров не всегда гарантирует увеличение скорости обработки. В случае перегрузки ресурсов, система возвращает статус `BUSY` вместо того, чтобы завершить запущенную модель.
В Lumabri также предусмотрено взаимодействие через чат, где пользователи могут обмениваться сообщениями, но при этом важно помнить, что распределение моделей и ресурсов происходит только после одобрения всех доноров.
Интерфейс и диагностика
Интерфейс Lumabri основан на текстовом пользовательском интерфейсе (TUI). Существует возможность взаимодействия через локальный API, что позволяет запускать чаты и управлять моделями. За всяким взаимодействием сохраняется история чата, а все действия можно выполнять через терминал. При этом, используемые команды не требуют дополнительных настроек или доступа к интернету.
Тестирование и разработка
Для тестирования проекта можно использовать следующую команду:
make test ENGINE=/path/to/colibri/c
python3 tests/integration/home_flow_test.py --models-dir /path/to/tiny-model-folder
Эти тесты помогут удостовериться в корректности работы системы с выбранными моделями. Однако, стоит учитывать, что Lumabri пока не сертифицирован для надежности работы в общих физически сетевых условиях или полноценной поддержки Windows.
Открыть на GitHub: JustVugg/lumabri →