RepoRadar llamactl: управление моделями машинного обучения с веб-панелью
llamactl — это инструмент для управления и маршрутизации моделей llama.cpp, MLX и vLLM, с удобной веб-панелью. Он упрощает работу с несколькими моделями, позволяя динамически загружать их, управлять ресурсами и интегрироваться с API, что делает его полезным для разработчиков, работающих с машинным обучением.
Проект отличается от других инструментов наличием встроенного менеджера моделей, который позволяет загружать их непосредственно из HuggingFace и поддерживает разные бэкенды. Удобный интерфейс на React позволяет следить за состоянием экземпляров и логами в реальном времени. Если тебе нужно объединить управление несколькими моделями в одном решении, этот инструмент будет кстати.
llamactl написан на Go и поддерживает Docker для запуска в контейнерах с полной поддержкой GPU. Чтобы начать работу, нужно установить один из бэкендов (llama.cpp, MLX или vLLM), скачать llamactl и запустить команду llamactl, после чего открыть веб-интерфейс по адресу http://localhost:8080. Учти, что этот проект всё еще в разработке, так что могут быть баги или недоступные функции.
Проект llamactl представляет собой инструмент для управления и маршрутизации моделей, таких как llama.cpp, MLX и vLLM, с помощью веб-дашборда. Он позволяет легко управлять моделями, включая их загрузку, запуск и мониторинг состояния.
Функциональные возможности
- Удобное управление моделями: встроенный загрузчик моделей для загрузки моделей GGUF и Safetensors напрямую с HuggingFace, поддержка динамической маршрутизации нескольких моделей и умное управление ресурсами.
- Гибкая интеграция: совместимость с API OpenAI для выполнения запросов к различным моделям, поддержка различных бэкендов и возможность работы в Docker-контейнерах.
- Распространенное развертывание: возможность развертывания экземпляров на удаленных хостах и централизованное управление через один дашборд.
Установка и запуск
Для начала работы с llamactl необходимо выполнить следующие шаги:
- Установить один из поддерживаемых бэкендов (llama.cpp, MLX или vLLM).
- Скачать llamactl для своей платформы.
- Запустить команду
llamactlи открыть адрес http://localhost:8080. - Создать экземпляр и начать использование.
Зависимости
В зависимости от выбранного бэкенда могут потребоваться разные установки:
- Для llama.cpp: необходимо установить
llama-server. - Для MLX (только для macOS): требуется устанавливать
mlx-lmчерез pip. - Для vLLM: также можно установить через pip.
Либо можно использовать Docker, чтобы избежать установки бэкенда на локальную машину.
Конфигурация
По умолчанию llamactl работает с разумными настройками. Конфигурация загружается с учетом следующего порядка:
- Defaults
- .env файл
- Конфигурационный файл
- Переменные окружения LLAMACTL_*.
Конфигурация поддерживает плейсхолдеры, что делает её более гибкой. Например, можно задать настройки сервера, ограничения на количество экземпляров и параметры авторизации.
Ограничения
Проект имеет некоторые ограничения, которые стоит учитывать:
- Установки на macOS могут потребовать дополнительных действий для поддержки MLX.
- При использовании Docker нужно адаптировать базовые образы для других платформ, таких как CPU или ROCm.
- Требуется GPU для некоторых бэкендов, например, для vLLM.
Для более детальной информации и руководства пользователя рекомендуем ознакомиться с полной документацией на сайте llamactl.org.
Открыть на GitHub: lordmathis/llamactl →
