RepoRadar Osmantic Deployment System: локальный AI-сервер для работы с моделями
Оsmantic Deployment System (ODS) — это решение, которое превращает твой ПК, Mac или Linux-устройство в локальный AI-сервер. Проект упрощает настройку AI-серверов, предоставляя возможность запускать LLM (large language models) и другие инструменты без необходимости собирать все компоненты вручную.
ODS позволяет проводить инференс моделей на собственном оборудовании, управлять процессами через веб-интерфейс, а также выполнять автоматизации с использованием голосовых команд и работы с документами. В отличие от других решений, ODS сосредоточен на локальной работе и не требует облачного хранилища или подписок, значит, твои данные останутся только на твоем устройстве. Подходит разработчикам и энтузиастам, которые хотят работать с AI, не полагаясь на внешние сервисы.
Для запуска ODS достаточно установить его на Windows, Mac или Linux, следуя инструкциям в README. К проекту применима лицензия Apache 2.0, а он поддерживает многопоточность и разнообразные функции для работы с моделями и потоками данных. Учти, что проект все ещё в развитии и может иметь ограничения по функционалу.
Проект ODS (Osmantic Deployment System) позволяет превратить твой ПК, Mac или Linux-устройство в личный сервер искусственного интеллекта. Этот инструмент помогает достаточно быстро настроить работу AI на локальной машине без необходимости вручную интегрировать множество различных компонентов.
Что он делает?
ODS объединяет все необходимые элементы для запуска AI локально, включая:
- Локальную инференцию моделей — работа с открытыми моделями на твоем оборудовании.
- Веб-интерфейс в стиле ChatGPT — пользователь может взаимодействовать с моделями через любой браузер.
- Контрольную панель — управление моделями и службами, состоянием GPU и расширениями из одного места.
- Автоматизации с голосом — возможность строить автоматизированные рабочие процессы, включая голосовые команды.
- Генерацию изображений — использование локальных инструментов для генерации изображений без отправки данных в облако.
- Забота о конфиденциальности и операциях — управлениеаутентификацией, секретами и мониторингом на локальном уровне.
Работа возможна без доступа к облаку и подпискам, все данные остаются на вашем устройстве, если ты не выберешь иное.
Как установить и запустить?
Установить ODS можно очень просто, выполнив одну команду. Вот как это сделать:
Для Linux или macOS:
curl -fsSL https://install.osmantic.com/ods.sh | bashДля Windows PowerShell:
$ProgressPreference = "SilentlyContinue"
$odsSrc = Join-Path $env:TEMP ("ods-install-" + [guid]::NewGuid().ToString("N"))
$odsZip = Join-Path $odsSrc "ods-main.zip"
New-Item -ItemType Directory -Path $odsSrc | Out-Null
Invoke-WebRequest "https://github.com/Osmantic/ODS/archive/refs/heads/main.zip" -OutFile $odsZip
Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force
cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
.\install.ps1Важно: убедись, что Docker уже установлен и запущен. Для Windows необходимо использовать Docker Desktop с включенным WSL2.
После установки открой в браузере http://localhost:3000 и начинай взаимодействие с AI.
Ограничения
На данный момент ODS поддерживает множество платформ, включая Linux, Windows с WSL2/Docker Desktop и macOS Apple Silicon. Однако необходимо учитывать, что для полноценной работы могут потребоваться определённые аппаратные конфигурации, такие как GPU от NVIDIA или AMD для оптимизации работы.
Если у тебя нет GPU, есть возможность работы в облачном режиме, что позволяет использовать API OpenAI/Anthropic/Together вместо локальной инференции.
Также стоит упомянуть, что при использовании старых версий операционных систем или неподходящих дистрибутивов могут возникнуть проблемы. Рекомендуется проверить совместимость с поддерживаемыми дистрибутивами перед установкой.
Заключение
ODS - это мощный инструмент для создания собственного сервера искусственного интеллекта, который можно легко установить и настроить. Он предлагает высокую степень конфиденциальности и контроля, позволяя пользователям запускать AI-модели без необходимости в облачных решениях.
Открыть на GitHub: Osmantic/ODS →
