yzma: библиотека для интеграции llama.cpp в приложения на Go
yzma — это библиотека для интеграции llama.cpp в приложения на Go, позволяющая выполнять локальный инференс с аппаратным ускорением.
Проект решает задачу использования современных языковых моделей в приложениях на Go, обеспечивая высокую производительность за счёт поддержки различных технологий аппаратного ускорения, таких как CUDA и OpenVINO. В отличие от альтернатив, yzma ориентирован на разработчиков, которые хотят использовать возможности языковых моделей локально, без зависимости от внешних API или серверов.
Поддерживает платформы Linux, macOS и Windows, а также WebAssembly через TinyGo. Чтобы запустить, нужно просто установить библиотеку и следовать инструкциям в README. Однако стоит помнить, что проект находится на ранних стадиях разработки, и могут быть проблемы с совместимостью или отсутствием функциональности.
Проект yzma предназначен для разработчиков, работающих с языковыми моделями на языке Go. С его помощью можно интегрировать библиотеку llama.cpp для локального вывода без необходимости в удалённых серверах. Это позволяет использовать аппаратное ускорение с помощью технологий, таких как CUDA, Metal и Vulkan, чтобы сделать работу приложений наиболее производительной.
Основные возможности yzma включают поддержку Vision Language Models (VLM) и Large/Small/Tiny Language Models (LLM) на операционных системах Linux, macOS и Windows. Также проект поддерживает запуск в браузере с помощью WebAssembly и TinyGo.
Установка и запуск
Для установки yzma выполните следующую команду:
go install github.com/hybridgroup/yzma@latest
yzma install --lib /path/to/lib
export YZMA_LIB=/path/to/lib
После установки можно скачать требуемую модель с помощью команды:
yzma model get -u https://huggingface.co/QuantFactory/SmolLM2-135M-GGUF/resolve/main/SmolLM2-135M.Q4_K_M.gguf
И запустить пример программы на Go:
go run ./examples/hello/
Примеры использования
В проекте представлены различные примеры, демонстрирующие использование yzma:
- Мульти-модальная модель (VLM): пример обработки текстового запроса и изображения для получения результата.
- Интерактивный чат: использование языковых моделей для ведения диалогов. Программа запрашивает у пользователя ввод и отвечает на него.
- Пример WebAssembly: работает в браузере, позволяя выполнять текстовые и визуальные запросы, используя WebGPU для повышения производительности.
Ограничения
Хотя yzma поддерживает более 96% возможностей llama.cpp, он имеет некоторые ограничения. Например, WebAssembly-версия содержит сокращённый API и не поддерживает работу с аудио или видео. Также все загружаемые модели должны быть в формате GGUF, совместимом с llama.cpp.
Проблемы совместимости могут возникнуть при обновлениях llama.cpp, поэтому важно следить за версиями и совместимостью библиотек.
Заключение
Проект yzma предоставляет гибкие инструменты для разработки приложений с использованием языковых моделей в экосистеме Go, предлагая высокую производительность благодаря локальному выполнению и поддержке разнообразного аппаратного ускорения. Он идеально подходит для разработчиков, стремящихся интегрировать передовые AI-технологии в свои приложения.
Радар проекта: 67 из 100 — крепкий проект
- Импульс 9 ≈ 19 звёзд в месяц
- Темп разработки 94 211 коммитов за 12 недель
- Зрелость 88 проекту 14 месяцев, 56 релизов
- Сообщество 39 6 участников, 30 форков
- Свежесть 99 последний коммит — 2 дня назад
- Быстрый старт 75 есть: команда установки, сайт/демо, примеры
- Готовность к продакшену 70 релиз v1.33.0, автосборка
- Безопасность и доверие 45 своя лицензия (не из открытых), организация
- Документация 93 README 14.4 тыс. знаков, 13 разделов
- Экосистема 61 10 подписчиков на обновления, 15 тем
Как считаем
Только открытые данные GitHub на 21.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: hybridgroup/yzma →
RepoRadar