RepoRadar FastFlowLM: запуск языковых моделей на AI NPUs от AMD Ryzen
FastFlowLM — это оптимизированная среда выполнения для запуска больших языковых моделей на AI NPUs от AMD Ryzen. Проект позволяет запустить модели с поддержкой Vision, Audio и MoE без необходимости в GPU, обеспечивая хорошую производительность и эффективность.
FastFlowLM соответствует всем процессорам Ryzen™ с XDNA2 NPUs, что дает возможность разработчикам быстро разрабатывать и тестировать приложения на данной платформе. Он выделяется среди альтернатив максимально упрощенным CLI и невероятной легковесностью — установка занимает всего 20 секунд. Эффективность решения также обещает существенную экономию энергии, даже по сравнению с существующими GPU-решениями.
Запуск осуществляется через установочный файл flm-setup.msi для Windows, но не забудь обновить драйверы NPU до версии 32.0.203.311 или выше. Важно отметить, что это решение специфично для архитектуры AMD и предназначено только для устройств с поддержкой Ryzen AI.
FastFlowLM (FLM) — это проект, разработанный для работы с большими языковыми моделями на базе AI NPUs от AMD Ryzen™. Он позволяет легко запускать модели с поддержкой Vision, Audio, Embedding и MoE, обеспечивая при этом высокую скорость и низкое потребление энергии. Программа не требует наличия GPU, а поддерживаемая длина контекста достигает 256k токенов, что делает ее удобной для работы с большими объемами данных.
Зачем это нужно?
FastFlowLM предлагает простой способ запуска больших языковых моделей на устройствах с AI NPUs Ryzen™, что позволяет разработчикам эффективно использовать возможности этих чипов. Это решение значительно снижает нагрузки на CPU и GPU, обеспечивая быстрое и энергоэффективное выполнение задач, связанных с обработкой естественного языка.
Установка и запуск
Установить FastFlowLM просто. Ты можешь скачать Windows-установщик по следующей ссылке: flm-setup.msi. Убедись, что установлен последний драйвер AMD NPU (32.0.203.311 или выше).
flm run llama3.2:1bПосле установки открой PowerShell и введи команду для запуска модели. Обрати внимание, что для этого потребуется доступ в интернет к HuggingFace для загрузки моделей. Иногда загрузка может быть повреждена, в этом случае выполни команду:
flm pull --force Если HuggingFace недоступен в твоем регионе, нужно будет скачать модель вручную и поместить ее в нужную директорию.
Как это работает?
Проект имеет командный интерфейс, который позволяет запускать модели с помощью одной команды. Можно выбирать разные модели, и сервер автоматически переключится на запрошенную модель. Локальный сервер работает на порту 52625. Для получения списка доступных моделей используй команду:
flm listКроме того, проект предоставляет возможность запуска локального сервера для более гибкого использования.
Ограничения
Хотя проект имеет много преимуществ, он работает исключительно на платформе AMD Ryzen™ с AI NPU. Это означает, что владельцы других платформ (например, Intel) не смогут использовать FastFlowLM. Также, для оптимального функционирования требуется поддерживаемая версия драйвера NPU, и необходимо стабильное интернет-соединение для загрузки моделей.
Лицензия
Код оркестрации и инструменты CLI являются открытыми и распространяются под лицензией MIT. Однако бинарные ядра, оптимизированные для NPU, не являются открытыми, но доступны для свободного использования, включая коммерческое, с учётом соблюдения условий лицензии FastFlowLM NPU Binary License.
Открыть на GitHub: ROCm/FastFlowLM →
