RepoRadar llmfit: анализирует совместимость моделей больших языков с оборудованием
llmfit — инструмент для определения, какие open-source модели больших языков (LLM) могут быть запущены на твоем оборудовании. Проект помогает оценить возможности системы, исследуя конфигурацию CPU, оперативной памяти, GPU и VRAM, чтобы предложить подходящие модели.
Отличается от альтернатив тем, что не просто показывает доступные модели, а анализирует твую конфигурацию и предлагает оптимальные варианты. Важной фичей является возможность бенчмаркинга — ты можешь скачать модель, провести тестирование производительности и отправить результаты обратно в проект без необходимости использования внешних сервисов.
llmfit написан на Rust и его можно запустить просто с помощью команды в терминале. Однако имей в виду, что для точных рекомендаций стоит учитывать, что некоторые модели могут требовать значительных ресурсов. Проект подходит как разработчикам, так и исследователям, работающим с LLM.
Что это за проект?
llmfit — это инструмент, который помогает определить, какие открытые большие языковые модели (Large Language Models, LLMs) могут работать на твоём компьютере. Он анализирует параметры твоего оборудования, такие как процессор, оперативная память, графические процессоры и их видеопамять, и предлагает подходящие модели с учетом различных форматов квантизации.
Проект включает дополнительные функции, позволяющие пользователям выполнять тесты производительности и делиться результатами с сообществом, что улучшает точность рекомендаций для всех пользователей.
Как установить и запустить llmfit?
Установить llmfit можно на Windows, macOS и Linux. Вот основные команды для установки:
- Windows:
scoop install llmfit - macOS/Linux:
- С помощью Homebrew:
brew install AlexsJones/llmfit/llmfit - Или с помощью быстрого скрипта:
curl -fsSL https://llmfit.axjns.dev/install.sh | shДля локального использования без установки можно запустить:
uvx llmfitКак пользоваться?
llmfit предлагает интерактивный интерфейс в терминале (TUI). Запустив команду:
llmfitТы увидишь информацию о своём оборудовании и рекомендуемые модели. Есть возможность фильтровать модели по названию или типу квантизации, а также проверить параметры производительности с помощью команды:
llmfit recommendДополнительные возможности
llmfit поддерживает нескольких поставщиков, включая Ollama и Docker. Он также обеспечивает REST API для интеграции с другими приложениями и автоматизации рабочего процесса. Проект включает опции для тестирования производительности, такие как:
llmfit benchТы можешь делиться своими результатами с помощью команды:
llmfit bench --shareОграничения
llmfit ориентирован на анализ и рекомендации моделей, но не запускает их напрямую. У него есть ограничения в поддержке архитектур, таких как Mixture-of-Experts (MoE), и пользователям необходимо учитывать, что результаты могут варьироваться в зависимости от конкретного железа. Кроме того, пользователям следует обратить внимание на возможностьUnsigned Windows-бинарников, если процесс подписывания не прошел успешно.
Открыть на GitHub: AlexsJones/llmfit →
