halogen-flash-server: быстрый сервер для модели Qwen3.8-Flash-Next на AMD

14.10.2026 peonist-ai/halogen-flash-server Shell ★ 971 AI и LLM 3 мин

halogen-flash-server — это сервер для быстрой работы модели Qwen3.8-Flash-Next на графических картах AMD Strix Halo. Он оптимизирован под одно конкретное устройство и модель, что означает, что он не зависит от универсальных решений и обеспечивает отличную производительность именно на этой платформе.

Проект решает задачу ускоренного выполнения сложных задач, таких как программирование и создание текста, с показателями до 94 токенов в секунду для повторяющихся выводов. Преимущество заключается в том, что твоя среда не перегружена лишними слоями и может быстро обрабатывать обширные контексты в 30,000-96,000 токенов, обеспечивая ответ уже через 1.6 секунды. Это может быть полезно разработчикам или исследователям, работающим с большими объемами данных или многосессионными задачами.

Запуск системы предполагает использование специфического оборудования AMD, и, похоже, не предусмотрена поддержка других платформ. Будь готов, что проект на данный момент ориентирован на узкую аудиторию и мощные вычислительные ресурсы.

Проект **halogen-flash-server** предназначен для запуска модели Qwen3.8-Flash-Next на графических процессорах AMD Strix Halo. Это решение оптимизировано для агентов, которые могут начать отвечать на запросы всего за 1.6 секунды, даже в длительных сессиях. Основная особенность этого проекта заключается в том, что он написан специально для одной модели на одном конкретном графическом процессоре, что позволяет избежать ограничений, связанных с общей функциональностью других движков.

Проект разработан для работы с большими объемами данных и поддерживает декодирование до 94 токенов в секунду на повторяющемся выходе. Кроме того, он демонстрирует хорошие характеристики при использовании длинных контекстов (от 30,000 до 96,000 токенов) с временем ответа около 4.2 секунд.

Установка и запуск

Чтобы установить и запустить сервер, следуй этим шагам:

mkdir -p ~/halogen-models
podman run --rm -p 8731:8731 \
  --device /dev/kfd --device /dev/dri --group-add keep-groups \
  --ipc=host --ulimit memlock=-1:-1 \
  -e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-flash-next \
  -v ~/halogen-models:/models \
  ghcr.io/peonist-ai/halogen-flash-server:0.18.4

Перед запуском убедись, что в BIOS выставлен минимум для выделенной видеопамяти (UMA frame buffer), так как движок предпочитает использовать оперативную память хоста, а не выделенную видеопамять. Дополнительные инструкции по установке можно найти в документации.

Функционал и ограничения

Проект поддерживает работу с различными типами запросов и имеет обширную документацию, включая информацию о конфигурациях, API и способах отладки. Однако стоит учитывать, что он разработан для строгой привязки к определенному графическому процессору и не поддерживает общие решения для разных устройств, что может ограничить его применение на других платформах.

Также, проект имеет ограничения в плане совместимости с другими моделями и может требовать специфических настроек среды для оптимальной работы.

Сообщество и поддержка

Для вопросов и обмена опытом можно присоединиться к Discord-каналу проекта. Если обнаружишь ошибки или проблемы в работе сервера, сообщения о них можно оставить в разделе issues на GitHub. Команда проекта приветствует отзывы и предлагает помощь в настройке среды.

Открыть на GitHub: peonist-ai/halogen-flash-server →