Xybrid: инструмент для локального запуска языковых моделей и AI

Проект Xybrid представляет собой инструмент для работы с языковыми моделями (LLMs), автоматическим распознаванием речи (ASR) и синтезом речи (TTS) в приложениях и играх. Главная особенность Xybrid заключается в том, что он позволяет выполнять все вычисления локально на устройстве, без необходимости подключения к облачным сервисам.

Установка и запуск

Xybrid поддерживает несколько языков программирования и платформ, включая Flutter, Swift, Kotlin, Unity и Rust. Вот как можно установить и запустить модель в разных средах:

• Flutter:

  dependencies:
    xybrid_flutter: ^0.6.0
  

  final model = await Xybrid.model('kokoro-82m').load();
  final result = await model.run(XybridEnvelope.text('Hello world'));

• Kotlin:

  dependencies {
      implementation("ai.xybrid:xybrid-kotlin:0.6.0")
  }
  

  val model = Xybrid.model("kokoro-82m").load()
  val result = model.runAsync(Envelope.text("Hello world"));

• Swift:

  dependencies: [
      .package(url: "https://github.com/xybrid-ai/xybrid.git", from: "0.6.0")
  ]
  

  let model = try await Xybrid.model("kokoro-82m").load()
  let result = try await model.runAsync(envelope: Envelope.text("Hello world"));

• Unity:

  openupm add ai.xybrid.sdk
  

  var model = XybridClient.LoadModel("kokoro-82m");
  var result = model.Run(Envelope.Text("Hello world"));

• Rust:

  [dependencies]
  xybrid = "0.6.0"
  

  let model = Xybrid::model("kokoro-82m").load()?;
  let result = model.run(&Envelope::text("Hello world"))?;

• CLI:

  # macOS / Linux
  curl -sSL https://raw.githubusercontent.com/xybrid-ai/xybrid/master/install.sh | sh
  

  # Windows (PowerShell)
  irm https://raw.githubusercontent.com/xybrid-ai/xybrid/master/install.ps1 | iex
  

  xybrid run --model kokoro-82m --input-text "Hello world" -o output.wav
  

Поддерживаемые модели

Xybrid предоставляет возможность работы с различными моделями для задач ASR, TTS и LLM. Все модели выполняются полностью на устройстве. Некоторые из поддерживаемых моделей:

• Speech-to-Text:
  • Whisper Tiny — многоязычное распознавание речи.
  • Wav2Vec2 Base — английское ASR.
• Text-to-Speech:
  • Kokoro 82M — высококачественное синтезирование речи с 24 естественными голосами.
  • KittenTTS Nano — легковесная модель с 8 голосами.
• LLM:
  • LFM2.5 230M — компактная языковая модель с поддержкой 9 языков.
  • Gemma 4 E2B — мультимодальная языковая модель от Google.
• Vision-Language:
  • LFM2-VL 450M — компактная VLM от Liquid AI.

Особенности и ограничения

Xybrid позволяет пользователям разрабатывать локальные приложения с поддержкой ASR, TTS и LLM без необходимости в облачных ресурсах. Некоторые ключевые особенности:

• Поддержка множества платформ: iOS, Android, macOS, Linux и Windows.
• Возможность создания многоуровневых пайплайнов, комбинируя ASR, LLM и TTS.
• Экспериментальная поддержка пользовательских моделей, совместимых с ONNX.
• Хранение и кэширование моделей непосредственно на устройстве.
• Опция использования облачных ресурсов по желанию.

Таким образом, Xybrid представляет собой мощное решение для разработки приложений с поддержкой современных технологий обработки голоса и текста, обеспечивая при этом максимальную гибкость и конфиденциальность.