RepoRadar Project Maya: запуск моделей AI на локальных GPU
Project Maya позволяет запускать модели GLM-5.3-Flash, DeepSeek-V4.1-Flash-1017 и MiniMax-M3.1-Flash на собственных GPU, включая от одной до 16 карточек NVIDIA или AMD, на Linux и Windows. Удобно для тех, кто хочет работать с мощными инструментами AI, не полагаясь на облачные решения.
Основное отличие от других систем — возможность запуска моделей локально, что повышает скорость и безопасность обработки данных. Проект подойдет разработчикам и исследователям в области искусственного интеллекта, которые нуждаются в высокопроизводительном оборудовании без необходимости интеграции с внешними API.
Работа с проектом осуществляется через OpenAI- и Anthropic-совместимые API, а также предлагает инструменты для анализа и квантования. Для запуска необходимы базовые навыки работы с GPU и поддержка Linux или Windows. Учти, что если ты планируешь использовать его на Windows, это все еще экспериментальный режим.
Project Maya — это проект, позволяющий запускать модели глубокого обучения, такие как **GLM-5.3-Flash**, **DeepSeek-V4.1-Flash-1017** и **MiniMax-M3.1-Flash**, непосредственно на твоём GPU. Этот проект предназначен для обеспечения быстрой и частной работы с моделями, использующими OpenAI и Anthropic API. Maya может обрабатывать несколько запросов одновременно и адаптируется под характеристики твоего оборудования.
Установка и запуск
Для установки проекта достаточно выполнить следующие команды в терминале:
git clone https://github.com/mw00/project-maya.git && cd project-maya
./setup.sh
В процессе установки тебе будет предложено выбрать модель, которая будет загружена и настроена. После успешного завершения установки, ознакомиться с проектом можно, открыв web-интерфейс по адресу http://127.0.0.1:8080. Для Windows нужно использовать команду START-MAYA.bat.
Важно, чтобы на твоём компьютере был установлен NVIDIA GPU с поддержкой CUDA, а также адекватный объём оперативной памяти и SSD для хранения моделей.
Поддерживаемые модели
Проект Maya предлагает несколько моделей, каждая из которых оптимизирована для определённых условий использования:
- GLM-5.3-Flash — оптимален для ПК с ограниченной памятью.
- DeepSeek-V4.1-Flash-1017 — может использовать любое количество памяти благодаря обращению к SSD.
- MiniMax-M3.1-Flash — подходит для работы с меньшими объёмами памяти (например, 128 ГБ).
Каждая модель имеет свои настройки, которые можно выбрать при установке, чтобы оптимально адаптироваться к аппаратному обеспечению.
Интерфейс и функциональность
Maya включает в себя веб-интерфейс, который позволяет вести диалоги с моделями, управлять настройками и отслеживать производительность. Он поддерживает:
- Чат с возможностью сохранения истории.
- Мониторинг использования ресурсов GPU и других компонентов системы.
- API, совместимый с OpenAI и Anthropic, что позволяет интегрировать другие приложения.
- Меню настроек, где можно изменить параметры, такие как уровень "мышления" модели и размер контекста.
Параметры производительности
Согласно тестам, Maya показывает высокую скорость обработки, достигая до 149 токенов в секунду на мощных конфигурациях. Скорость обработки зависит от используемой модели и оборудования. Например, на системе с двумя RTX 5090 скорость может достигать 148 токенов/с. Поэтому важно учесть характеристики твоего оборудования для настройки оптимальной работы.
Лимитации
Есть некоторые ограничения, о которых стоит помнить:
- Производительность модели может зависеть от объёма доступной RAM и GPU. Рекомендуется иметь как минимум 32 ГБ оперативной памяти.
- Некоторые компоненты могут требовать наличия крупных SSD для хранения моделей и данных.
- Поддержка AMD систем находится на экспериментальной стадии, поэтому рекомендуем использовать NVIDIA GPUs для оптимальной работы.
Если возникнут проблемы, можно запустить команду ./maya.sh --report для получения информации о системе и проблемах, которые могут быть устранены.
Открыть на GitHub: mw00/project-maya →
