RepoRadar Uzu: высокопроизводительный движок для вывода AI-моделей локально
Uzu — это высокопроизводительный движок для вывода AI-моделей. Он нацелен на то, чтобы обеспечить нулевую задержку при развертывании AI непосредственно в приложениях, что делает его актуальным для задач, требующих быстрого реагирования и высокой скорости обработки.
В отличие от многих альтернатив, которые часто требуют облачной инфраструктуры и порой имеют проблемы с конфиденциальностью данных, Uzu позволяет обрабатывать данные локально, что может быть важно для приложений, работающих с чувствительной информацией. Он будет полезен разработчикам, создающим инструменты для машинного обучения, мобильные приложения или веб-сервисы, где скорость и безопасность имеют решающее значение.
Код написан на Python, TypeScript и Swift. Чтобы начать, достаточно установить пакет через PyPI или npm, в зависимости от выбранного языка. У проекта есть лицензия MIT, позволяющая его свободное использование, но стоит обратить внимание, что в README не указаны возможные ограничения на платформы или начало разработки.
Проект uzu представляет собой высокопроизводительный движок для инференса AI-моделей, позволяющий интегрировать искусственный интеллект напрямую в приложение с минимальной задержкой, полной конфиденциальностью данных и без затрат на инференс. У него есть несколько ключевых возможностей:
- Простой и высокоуровневый API
- Унифицированные конфигурации моделей, что упрощает добавление новых моделей
- Отслеживание вычислений для проверки корректности относительно оригинальной реализации
- Использование унифицированной памяти на устройствах Apple
- [Широкая поддержка моделей](https://trymirai.com/local-models)
Установка и запуск
Для начала работы с uzu, необходимо добавить зависимость и выполнить код, соответствующий твоему языку программирования. Вот как это сделать для четырех популярных языков:
Rust
Добавь зависимость в Cargo.toml:
[dependencies]
uzu = { git = "https://github.com/trymirai/uzu", branch = "main", package = "uzu" }
И запусти следующий код:
use uzu::{
engine::{Engine, EngineConfig},
types::session::chat::{ChatConfig, ChatMessage, ChatReplyConfig},
};
Python
Установи зависимость:
uv add uzu==0.6.9Запусти следующий код:
import asyncio
from uzu import ChatConfig, ChatMessage, ChatReplyConfig, Engine, EngineConfig
Swift
Добавь зависимость:
dependencies: [
.package(url: "https://github.com/trymirai/uzu.git", from: "0.6.9")
]И запусти следующий код:
import Uzu
TypeScript
Установи зависимость:
pnpm add @trymirai/uzu@0.6.9Запусти следующий код:
import { Engine, EngineConfig } from '@trymirai/uzu';
Возможности
Движок позволяет загружать модели, управлять сессиями общения и эффективно обрабатывать запросы. Функциональность включает:
- Загрузка модели и управление прогрессом её загрузки
- Общение с использованием различных моделей и сохранение контекста между сессиями
- Поддержка внешних инструментов и функций для расширения возможностей AI
Ограничения
Так как каждая модель может потреблять значительное количество оперативной памяти, рекомендуется загружать только одну сессию в памяти одновременно. Для приложений на iOS следует добавить полномочия Increased Memory Capability, чтобы обеспечить возможность выделения необходимого объема памяти.
CLI и сервер
Ты также можешь запускать uzu в режиме командной строки или как HTTP-сервер, совместимый с OpenAI, что позволяет взаимодействовать с моделями через REST API. Здесь можно указать модель и управлять её загрузкой, а также настраивать параметры запросов.
Документация и поддержка
Полная документация доступна [здесь](https://docs.trymirai.com), а при возникновении вопросов можно обратиться через [Discord](https://discord.com/invite/trymirai) или по электронной почте.
Проект лицензирован под MIT License, подробности смотри в файле LICENSE.
Открыть на GitHub: trymirai/uzu →
