RepoRadar Strata: инференс модели Qwen3.8 на игровом ПК
Strata — это движок для инференса модели Qwen3.8, который можно запустить на обычном игровом ПК. Он позволяет запускать мощный AI-модель с 125 миллиардами параметров на оборудовании с одной видеокартой NVIDIA и 64 ГБ ОЗУ, обеспечивая простую установку на Windows или Linux в один клик.
Проект решает задачу доступности мощного AI для широкой аудитории разработчиков и энтузиастов, позволяя обрабатывать текстовые запросы и генерировать ответы значительно быстрее, чем это делают традиционные сервисы. В отличие от облачных решений, Strata не требует постоянного интернет-соединения и может работать локально, что может быть ценным для работы с конфиденциальными данными.
Чтобы запустить Strata, достаточно кликнуть по инсталляционному файлу, доступному на GitHub. Обрати внимание, что для полноценной работы тебе потребуется современная видеокарта с минимум 12 ГБ видеопамяти. Проект является открытым и бесплатным, но на данный момент может иметь некоторые ограничения по производительности, зависимые от конфигурации твоего ПК.
Strata — это проект, позволяющий запускать крупную AI-модель с 125 миллиардами параметров на обычном игровом ПК. Для работы требуется одна видеокарта NVIDIA с 12-24 ГБ видеопамяти и 64 ГБ оперативной памяти. Предоставляется простая установка и совместимость с Windows и Linux.
Проект основан на модели Qwen3.8-Flash-Next, которая обычно работает на мощных серверах. Strata позволяет запускать эту модель локально, обеспечивая скорость обработки от 60 до 95 токенов в секунду, что превышает скорость чтения текстов.
Системные требования
- Видеокарта NVIDIA RTX 20, 30, 40 или 50 с 12 ГБ видеопамяти или больше.
- Оперативная память в зависимости от выбранной модели (рекомендуется минимум 64 ГБ).
- Около 80 ГБ свободного места на диске (желательно на SSD для ускорения загрузки).
- Windows 10/11 или Linux.
- Установленный графический драйвер NVIDIA.
Установка и запуск
Для установки на Windows следуй этим шагам:
1. Скачай проект и распакуй архив (или используй git clone).
2. Дважды щелкни на `START-HERE.bat`.
3. Ответь на несколько вопросов о модели, объеме контекста и других настройках.После установки Strata откроет приложение в браузере по адресу http://127.0.0.1:8080.
Установка на Linux аналогична, просто запусти ./setup.sh.
Выбор модели
Strata поддерживает несколько моделей, каждая из которых отличается объемом используемой оперативной и видеопамяти:
- Q2_0: 37.6 ГБ, самая быстрая, хорошее качество.
- IQ2_XS: 39.2 ГБ, быстрое выполнение, лучшее качество (рекомендуется).
- IQ3_XXS: 47.0 ГБ, медленное выполнение, отличное качество.
- IQ3_S: 54.8 ГБ, самое медленное, наилучшее качество.
Важно учитывать, что размер оперативной памяти должен превышать объем, необходимый для работы модели плюс запас на другие программы.
Ограничения и рекомендации
Во время первой загрузки Strata может существенно нагрузить систему, что приведет к замедлению работы ПК. Это нормально, так как происходит загрузка модели в оперативную память. Если возникают проблемы с производительностью, рекомендуется уменьшить размер модели или закрыть другие приложения.
Также, если возникают ошибки, стоит проверить наличие обновлений драйверов NVIDIA и убедиться в том, что достаточно свободной оперативной памяти для модели.
Использование
После запуска модели ты можешь взаимодействовать с ней через веб-приложение по адресу http://127.0.0.1:8080, а также через терминал с помощью команды .venv\Scripts\python chat.py. Также доступно использование API через OpenAI-совместимый интерфейс.
Если понадобится больше информации или возникнут ошибки, всегда можно обратиться к полному руководству по устранению неполадок и описанию проекта, доступным в документации.
Открыть на GitHub: Niko1221/Strata →
