RepoRadar jevos: открытая альтернатива для принятия yes/no решений локально
jevos — это открытая альтернатива для принятия yes/no решений, которая работает на твоём ноутбуке. Она позволяет отправить текст и вопрос, и получить вероятность "да" в течение 25–110 мс, что значительно быстрее, чем у аналогов, таких как Jev или Laya.
Преимущество jevos в мощной обработке запросов на локальном устройстве. Это делает его полезным для разработчиков, которым нужно быстрое решение для принятия решений на основе текста без зависимостей от облака. Технология построена на Python, и её можно запустить локально с помощью HTTP API. Учти, что jevos требует определённого железа для работы с необходимой латентностью, так что тебе может понадобиться современный CPU.
Проект ещё находится в стадии разработки, так что возможны баги и неполная документация. Но если тебе нужно быстрое решение для yes/no вопросов, это неплохой выбор.
Что такое jevos?
jevos — это система для принятия решений с ответами "да" или "нет", работающая на процессоре ноутбука за 25-110 миллисекунд. Ты отправляешь текст и вопрос, а в ответ получаешь вероятность "да". Проект демонстрирует высокую скорость и точность при ответах на такие вопросы.
Как работает jevos?
Проект использует различные версии модели, с которой можно взаимодействовать через HTTP API. jevos-v4, самая последняя версия, демонстрирует улучшения в точности и скорости по сравнению с предыдущими версиями. Модель способна отвечать на несколько типов вопросов, включая yes/no, выбор из нескольких вариантов и оценку (score). Каждый вопрос отправляется на обработку, и модель возвращает вероятность того, что ответ на него "да".
Как установить и запустить jevos?
Ты можешь скачать jevos с [официальной страницы релизов](https://github.com/feder-cr/jev/releases/tag/jevos-v4). Для установки, выполните следующие шаги:
- Скачай архив для своей операционной системы (`jev-windows-x64.zip`, `jev-linux-x64.tar.gz` или `jev-macos-arm64.tar.gz`) и модель `jevos-v4-openvino-int8.zip`.
- Распакуй модель в папку `jev`, так чтобы она находилась по пути `jev/model`.
- Запусти сервер:
cd jev
./jev serve # Для Windows: jev.exe serveПосле этого ты сможешь делать запросы к API, используя, например, cURL для отправки JSON с вопросами.
Какие ограничения и требования у jevos?
jevos работает на CPU и требует наличие OpenVINO для запуска модели с 8-битными весами. Проект не поддерживает GPU, а объем памяти может достигать 1 ГБ при загруженной модели. Модель имеет ограничения по контексту в 8192 токена, и в системе есть настройки, связанные с кэшированием и числом потоков обработки.
Ответы на yes/no вопросы также требуют, чтобы правила были указаны в инструкции запроса, что может усложнять интеграцию в некоторые системы.
Вывод
jevos — это эффективная модель для быстрого получения ответов на бинарные вопросы. При четком понимании требований к установке и принципам работы API, с помощью этой системы можно значительно улучшить процесс принятия решений в различных приложениях.
Открыть на GitHub: feder-cr/jev →
