RepoRadar GenieX: запуск генеративных моделей на устройствах Qualcomm
GenieX — это платформа для запуска передовых LLM и VLM на устройствах Qualcomm, использующая NPU, GPU и CPU. Цель проекта — упростить использование современных генеративных моделей с минимальным количеством кода. Это решение подходит для разработчиков, которые хотят тестировать и разворачивать модели машинного обучения локально, не полагаясь на облачные сервисы.
Отличительной чертой GenieX является возможность работы с моделями из популярных репозиториев, таких как Hugging Face и ModelScope, через единый интерфейс на C с поддержкой CLI, Python и Java/Kotlin, а также Docker. Весь функционал сосредоточен вокруг SDK, что упрощает интеграцию в существующие проекты. Также доступен OpenAI-совместимый сервер, что может быть удобно для тех, кто хочет использовать GenieX в сочетании с другими инструментами.
На данный момент проект находится на стадии предварительного просмотра, так что могут быть неполадки или недоступные функции. Также нужно учитывать, что он предназначен в первую очередь для устройств Qualcomm. Для запуска необходим установленный SDK, с которым можно ознакомиться в документации.
Установленные платформы
GenieX работает **только на устройствах Qualcomm Snapdragon**. Вот несколько примеров платформ и устройств:- 🪟 **Windows ARM64**: Snapdragon X, X Elite
- 🤖 **Android**: Snapdragon 8 Elite, 8 Elite Gen 5
- 🐧 **Linux ARM64**: Dragonwing QCS9075
Быстрый старт
Каждый из интерфейсов GenieX основан на трёх основных шагах: **Установка**, **Запуск**, и **Документация**.CLI
**Установка:** - **Windows ARM64** — [скачать установщик](https://github.com/qualcomm/GenieX/releases), запустить его и открыть новый терминал. - **Linux ARM64** — одной командой без `sudo`: ```bash curl -fsSL https://qaihub-public-assets.s3.us-west-2.amazonaws.com/qai-hub-geniex/install.sh | sh ``` **Запуск:** взаимодействуй с любой моделью одной строкой: ```bash geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf ```Python
**Установка:** ```bash pip install geniex ``` **Запуск:** ```python from geniex import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3.5-2B-GGUF", precision="Q4_0") messages = [{"role": "user", "content": "What is 2+2?"}] prompt = model.tokenizer.apply_chat_template(messages, add_generation_prompt=True) for chunk in model.generate(prompt, max_new_tokens=256, stream=True): print(chunk, end="", flush=True) model.close() ```Android (Kotlin / Java)
**Установка** — добавь SDK в файл `build.gradle.kts` своего приложения: ```kotlin dependencies { implementation("com.qualcomm.qti:geniex-android:0.4.0") } ``` Для быстрого старта используй учебное приложение на Android, которое доступно в репозитории [`qualcomm/ai-hub-apps`](https://github.com/qualcomm/ai-hub-apps/tree/main/apps/geniex_chat_android).Docker
**Установка:** ```bash docker pull docker.io/qualcomm/geniex:latest ``` **Запуск:** внутри контейнера доступна команда `geniex infer …`, как и в CLI.Модели
GenieX поддерживает два режима работы с моделями, что обеспечивает возможность запускать как LLM (языковые модели), так и VLM (визуальные модели):- **llama.cpp** — поддерживает модели GGUF, работает на NPU/GPU/CPU.
- **Qualcomm AI Engine Direct** — поддерживает предкомпилированные пакеты, работающие только на NPU.
Ограничения
GenieX предназначен для использования исключительно на устройствах Snapdragon, и не будет работать на других платформах. Модели, которые поддерживаются, могут изменяться, а лучшие результаты достигаются с использованием оптимизированных форматов и библиотек, предоставляемых Qualcomm. Убедись, что у тебя есть подходящее устройство и совместимые модели перед установкой.Открыть на GitHub: qualcomm/GenieX →
