FastFlowLM: запуск языковых моделей на AI NPUs от AMD Ryzen

FastFlowLM — это оптимизированная среда выполнения для запуска больших языковых моделей на AI NPUs от AMD Ryzen. Проект позволяет запустить модели с поддержкой Vision, Audio и MoE без необходимости в GPU, обеспечивая хорошую производительность и эффективность.

FastFlowLM соответствует всем процессорам Ryzen™ с XDNA2 NPUs, что дает возможность разработчикам быстро разрабатывать и тестировать приложения на данной платформе. Он выделяется среди альтернатив максимально упрощенным CLI и невероятной легковесностью — установка занимает всего 20 секунд. Эффективность решения также обещает существенную экономию энергии, даже по сравнению с существующими GPU-решениями.

Запуск осуществляется через установочный файл flm-setup.msi для Windows, но не забудь обновить драйверы NPU до версии 32.0.203.311 или выше. Важно отметить, что это решение специфично для архитектуры AMD и предназначено только для устройств с поддержкой Ryzen AI.

FastFlowLM (FLM) — это проект, разработанный для работы с большими языковыми моделями на базе AI NPUs от AMD Ryzen™. Он позволяет легко запускать модели с поддержкой Vision, Audio, Embedding и MoE, обеспечивая при этом высокую скорость и низкое потребление энергии. Программа не требует наличия GPU, а поддерживаемая длина контекста достигает 256k токенов, что делает ее удобной для работы с большими объемами данных.

Зачем это нужно?

FastFlowLM предлагает простой способ запуска больших языковых моделей на устройствах с AI NPUs Ryzen™, что позволяет разработчикам эффективно использовать возможности этих чипов. Это решение значительно снижает нагрузки на CPU и GPU, обеспечивая быстрое и энергоэффективное выполнение задач, связанных с обработкой естественного языка.

Установка и запуск

Установить FastFlowLM просто. Ты можешь скачать Windows-установщик по следующей ссылке: flm-setup.msi. Убедись, что установлен последний драйвер AMD NPU (32.0.203.311 или выше).

flm run llama3.2:1b

После установки открой PowerShell и введи команду для запуска модели. Обрати внимание, что для этого потребуется доступ в интернет к HuggingFace для загрузки моделей. Иногда загрузка может быть повреждена, в этом случае выполни команду:

flm pull  --force

Если HuggingFace недоступен в твоем регионе, нужно будет скачать модель вручную и поместить ее в нужную директорию.

Как это работает?

Проект имеет командный интерфейс, который позволяет запускать модели с помощью одной команды. Можно выбирать разные модели, и сервер автоматически переключится на запрошенную модель. Локальный сервер работает на порту 52625. Для получения списка доступных моделей используй команду:

flm list

Кроме того, проект предоставляет возможность запуска локального сервера для более гибкого использования.

Ограничения

Хотя проект имеет много преимуществ, он работает исключительно на платформе AMD Ryzen™ с AI NPU. Это означает, что владельцы других платформ (например, Intel) не смогут использовать FastFlowLM. Также, для оптимального функционирования требуется поддерживаемая версия драйвера NPU, и необходимо стабильное интернет-соединение для загрузки моделей.

Лицензия

Код оркестрации и инструменты CLI являются открытыми и распространяются под лицензией MIT. Однако бинарные ядра, оптимизированные для NPU, не являются открытыми, но доступны для свободного использования, включая коммерческое, с учётом соблюдения условий лицензии FastFlowLM NPU Binary License.

Радар проекта: 71 из 100 — крепкий проект

ИмпульсТемпЗрелостьСообществоСвежестьСтартПродакшенДовериеДокументацияЭкосистема71
  • Импульс 27 ≈ 3 звезды в день
  • Темп разработки 100 647 коммитов за 12 недель
  • Зрелость 90 проекту 17 месяцев, 69 релизов
  • Сообщество 66 39 участников, 175 форков
  • Свежесть 99 последний коммит — 2 дня назад
  • Быстрый старт 40 есть: Docker, сайт/демо
  • Готовность к продакшену 70 релиз v1.0.12, автосборка
  • Безопасность и доверие 60 своя лицензия (не из открытых), организация
  • Документация 96 README 9.4 тыс. знаков, 11 разделов, папка docs
  • Экосистема 59 27 подписчиков на обновления, 5 тем
Как считаем

Только открытые данные GitHub на 06.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.

  • Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
  • Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
  • Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
  • Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
  • Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
  • Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
  • Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
  • Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
  • Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
  • Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.

Открыть на GitHub: ROCm/FastFlowLM →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.
Подписаться

Похожие статьи

Популярные темы на сайте