RepoRadar LLM2Jev: преобразование языковых моделей в решения на основе данных
LLM2Jev — это инструмент, который превращает локальные языковые модели в структурированные модели принятия решений в стиле Jev. Он позволяет получать результаты из текстов и изображений без необходимости декодирования токен за токеном, используя только предзаполненные данные.
Проект решает задачу упрощения процесса генерации решений на основе многомодальных входных данных (текста и изображений). В отличие от традиционных методов, которые требуют более сложных процессов обработки, LLM2Jev значительно ускоряет получение результата, что особенно полезно для разработчиков, работающих в области машинного обучения и ИИ.
Приложение написано на Python и требует версию 3.12 или выше. Инструкции по запуску находятся в документации. Имей в виду, что проект еще не завершён, и он может иметь свои ограничения. Полная совместимость с сервисами Jev и API требует дополнительной настройки.
Проект LLM2Jev позволяет преобразовывать локальные языковые модели в структурированные модели принятия решений в стиле Jev. Он обеспечивает возможность получать результаты из текста и изображений, используя только предварительную подстройку, что избавляет от необходимости декодировать ответ по токенам.
Проект является открытым и не имеет официальной привязки к Jev или TypeSafe, что гарантирует независимость разработки.
Ключевые функции
- Поддержка нескольких бэкендов: запускай локальные модели текста и изображений с помощью SGLang, Transformers или MLX через Python API или HTTP-сервис.
- Только предварительная подстройка: вычисляй вероятности из логитов на этапе предварительной подстройки и собирай результаты напрямую, без декодирования.
- Мультимодальные входы: комбинируй текст и изображения в вопросах с поддержкой SGLang, Transformers и MLX-VLM.
- Повторное использование префиксов: организуй подачу кандидатов для повторного использования кеша SGLang при обработке запросов.
Установка и запуск
Для установки LLM2Jev и запуска локальной модели на Linux с поддержкой NVIDIA GPU можно выполнить следующие команды:
git clone https://github.com/Yinsongxu/LLM2Jev.git
cd LLM2Jev
uv sync --extra sglang
source .venv/bin/activate
python examples/sglang_inference.py --model-path /path/to/model
Замените /path/to/model на путь к директории с вашей совместимой моделью языковой модели от Hugging Face.
Ограничения
Текущая реализация проекта ориентирована на использование с графическими процессорами NVIDIA, что может ограничить возможности пользователей с другими типами оборудования. Также важным моментом является необходимость наличия предварительно подготовленных моделей, совместимых с Hugging Face, что может потребовать дополнительных шагов для их подготовки и настройки.
Дополнительные ресурсы
Доступны различные примеры использования и демонстрации возможностей LLM2Jev, такие как:
- Веб-демо: интерактивный интерфейс для подачи вопросов и получения ответов.
- Демо игры Snake: демонстрирует принятие решений на основе среды игры.
- Демонстрация Sokoban: визуальная демонстрация оценки одного шага на основе изображений и текстов.
Открыть на GitHub: Yinsongxu/LLM2Jev →
