Gufo: локальный движок вывода для аппаратуры AMD Strix Halo

05.10.2026 gufo-org/gufo C++ ★ 530 AI и LLM 4 мин

Gufo — это локальный движок вывода, разработанный и оптимизированный для аппаратного обеспечения AMD Strix Halo. Он подходит для систем Ryzen AI MAX+ 395 с Radeon 8060S и предлагает до 128 Гб унифицированной памяти.

Проект нацелен на разработчиков, которым нужна высокая производительность для вывода моделей машинного обучения на специализированной аппаратуре. Gufo демонстрирует неплохие результаты скорости, например, до 656.33 токенов в секунду для модели Qwen3.8 на одном пользователе, а также возможности работы с несколькими запросами одновременно. Главные отличия от конкурентов — это оптимизация под специфическое железо AMD и поддержка моделей из экосистемы Hugging Face.

Для запуска понадобится соответствующее оборудование AMD, а также ваше внимание на наличие двух веток, не сведенных к основной: порт на Windows и версия для RDMA с двумя Strix Halo. Учти, что это довольно ранняя версия, и некоторые функции могут быть в стадии разработки.

Описание проекта

Gufo — это локальный движок для обработки данных, специально разработанный и оптимизированный для аппаратного обеспечения AMD Strix Halo, включая системы Ryzen AI MAX+ 395 и Radeon 8060S с до 128 ГиБ унифицированной памяти. Проект ориентирован на пользователей, работающих с локальными ИИ-моделями, сочетая инструменты для работы с текстом, аудио, изображениями и видео.

Модели и производительность

Gufo поддерживает различные модели, каждая из которых имеет свои режимы вывода и тестирование производительности. Документация по моделям доступна в папке docs/models. Некоторые из доступных моделей:

Qwen3.8 27B: Поддерживает режимы Q4/Q8, демонстрирует скорость до 656 токенов в секунду для одномоментного запроса.
DeepSeek V4 Flash: Поддерживает режимы AR и DSpark с производительностью до 484 токенов в секунду.
Qwen3-TTS 1.7B: Ориентирован на синтез речи и клонирование голоса, показывая производительность до 2.54 раз от реального времени.

Каждая модель сопровождается оценками качества и результатами бенчмарков, которые помогают пользователям выбрать наиболее подходящий вариант для своих нужд.

Установка и запуск

Для установки Gufo следует использовать Podman и выполнить следующий набор команд:

hf download unsloth/Qwen3.8-27B-GGUF \
  Qwen3.8-27B-UD-Q8_K_XL.gguf \
  --revision 4ca720788d1e01f1bff70c033e0d0028fd02e502 \
  --repo-type model \
  --local-dir models/Qwen3.8-27B-GGUF
hf download z-lab/Qwen3.8-27B-DFlash2-GGUF \
  Qwen3.8-27B-DFlash2-Q4_K_M.gguf \
  --revision 2d9571f8ce46e151f61c6499c99dee6079e1d610 \
  --repo-type model \
  --local-dir models/Qwen3.8-27B-DFlash2-GGUF
podman pull ghcr.io/gufo-org/toolboxes/gufo-runtime:latest
podman run --rm \
  --userns=keep-id:uid=1000,gid=1000 \
  --device /dev/kfd \
  --device /dev/dri \
  --group-add keep-groups \
  --ulimit memlock=-1 \
  -p 8080:8080 \
  -v ./models:/models:ro \
  ghcr.io/gufo-org/toolboxes/gufo-runtime:latest \
  gufo serve --host 0.0.0.0 --port 8080 llm \
  --model /models/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q8_K_XL.gguf \
  --speculative dflash2 \
  --dflash-model /models/Qwen3.8-27B-DFlash2-GGUF/Qwen3.8-27B-DFlash2-Q4_K_M.gguf

Важно помнить, что для корректной работы необходимые права на доступ к устройствам и настройка правил SELinux, если она включена на вашей системе.

Ограничения

Gufo в первую очередь заточен под аппаратное обеспечение AMD Strix Halo, поэтому использование на других архитектурах или с другой конфигурацией памяти может привести к снижению производительности или невозможности запуска. Также следует обратить внимание на зависимости и особенности, связанные с их установкой, особенно под различные дистрибутивы Linux.

Философия разработки

Проект ориентирован на сообщество и приветствует совместные усилия по улучшению Gufo. Главные цели — это минимизация кода для упрощения поддержки, сосредоточение на качественных моделях, а также обеспечение простоты работы с инструментами в рамках одной экосистемы. Gufo стремится сохранить высокое качество моделей при оптимизации и предлагает продвинутые возможности для работы с несколькими запросами одновременно.

Открыть на GitHub: gufo-org/gufo →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.