Strata: инференс модели Qwen3.8 на игровом ПК
Strata — это движок для инференса модели Qwen3.8, который можно запустить на обычном игровом ПК. Он позволяет запускать мощный AI-модель с 125 миллиардами параметров на оборудовании с одной видеокартой NVIDIA и 64 ГБ ОЗУ, обеспечивая простую установку на Windows или Linux в один клик.
Проект решает задачу доступности мощного AI для широкой аудитории разработчиков и энтузиастов, позволяя обрабатывать текстовые запросы и генерировать ответы значительно быстрее, чем это делают традиционные сервисы. В отличие от облачных решений, Strata не требует постоянного интернет-соединения и может работать локально, что может быть ценным для работы с конфиденциальными данными.
Чтобы запустить Strata, достаточно кликнуть по инсталляционному файлу, доступному на GitHub. Обрати внимание, что для полноценной работы тебе потребуется современная видеокарта с минимум 12 ГБ видеопамяти. Проект является открытым и бесплатным, но на данный момент может иметь некоторые ограничения по производительности, зависимые от конфигурации твоего ПК.
Strata — это проект, позволяющий запускать крупную AI-модель с 125 миллиардами параметров на обычном игровом ПК. Для работы требуется одна видеокарта NVIDIA с 12-24 ГБ видеопамяти и 64 ГБ оперативной памяти. Предоставляется простая установка и совместимость с Windows и Linux.
Проект основан на модели Qwen3.8-Flash-Next, которая обычно работает на мощных серверах. Strata позволяет запускать эту модель локально, обеспечивая скорость обработки от 60 до 95 токенов в секунду, что превышает скорость чтения текстов.
Системные требования
- Видеокарта NVIDIA RTX 20, 30, 40 или 50 с 12 ГБ видеопамяти или больше.
- Оперативная память в зависимости от выбранной модели (рекомендуется минимум 64 ГБ).
- Около 80 ГБ свободного места на диске (желательно на SSD для ускорения загрузки).
- Windows 10/11 или Linux.
- Установленный графический драйвер NVIDIA.
Установка и запуск
Для установки на Windows следуй этим шагам:
1. Скачай проект и распакуй архив (или используй git clone).
2. Дважды щелкни на `START-HERE.bat`.
3. Ответь на несколько вопросов о модели, объеме контекста и других настройках.
После установки Strata откроет приложение в браузере по адресу http://127.0.0.1:8080.
Установка на Linux аналогична, просто запусти ./setup.sh.
Выбор модели
Strata поддерживает несколько моделей, каждая из которых отличается объемом используемой оперативной и видеопамяти:
- Q2_0: 37.6 ГБ, самая быстрая, хорошее качество.
- IQ2_XS: 39.2 ГБ, быстрое выполнение, лучшее качество (рекомендуется).
- IQ3_XXS: 47.0 ГБ, медленное выполнение, отличное качество.
- IQ3_S: 54.8 ГБ, самое медленное, наилучшее качество.
Важно учитывать, что размер оперативной памяти должен превышать объем, необходимый для работы модели плюс запас на другие программы.
Ограничения и рекомендации
Во время первой загрузки Strata может существенно нагрузить систему, что приведет к замедлению работы ПК. Это нормально, так как происходит загрузка модели в оперативную память. Если возникают проблемы с производительностью, рекомендуется уменьшить размер модели или закрыть другие приложения.
Также, если возникают ошибки, стоит проверить наличие обновлений драйверов NVIDIA и убедиться в том, что достаточно свободной оперативной памяти для модели.
Использование
После запуска модели ты можешь взаимодействовать с ней через веб-приложение по адресу http://127.0.0.1:8080, а также через терминал с помощью команды .venv\Scripts\python chat.py. Также доступно использование API через OpenAI-совместимый интерфейс.
Если понадобится больше информации или возникнут ошибки, всегда можно обратиться к полному руководству по устранению неполадок и описанию проекта, доступным в документации.
Радар проекта: 84 из 100 — зрелый и живой проект
- Импульс 100 ≈ 934 звезды в день
- Темп разработки 100 5477 коммитов за 12 недель
- Зрелость 64 проекту 53 дня, 67 релизов
- Сообщество 100 341 участник, 4827 форков
- Свежесть 97 последний коммит — 5 дней назад
- Быстрый старт 55 есть: команда установки, Docker
- Готовность к продакшену 75 релиз v0.2.13, автосборка, тесты
- Безопасность и доверие 80 лицензия MIT, SECURITY.md
- Документация 94 README 17.5 тыс. знаков, 8 разделов, папка docs
- Экосистема 73 209 подписчиков на обновления, 0 тем
Как считаем
Только открытые данные GitHub на 14.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: Niko1221/Strata →
RepoRadar