RepoRadar VLMEvalKit: инструмент для оценки больших мультимодальных моделей
VLMEvalKit — это открытый инструмент для оценки больших мультимодальных моделей (LMMs), поддерживающий более 220 моделей и 80 бенчмарков. Он упрощает процесс тестирования моделей, позволяя запускать оценку с помощью одной команды, без необходимости подготавливать данные из множества репозиториев.
Проект подходит для исследователей и разработчиков, работающих с мультимодальными моделями, особенно если тебе нужно быстро проверить их производительность на различных наборах данных. VLMEvalKit использует генеративный подход к оценке и предоставляет результаты на основе точного соответствия и извлечения ответов с использованием LLM, что является чуть более продвинутым решением по сравнению с традиционными методами.
Код написан на Python, пакет устанавливается с помощью pip. Обрати внимание, что проект активно развивается, и стоит проверить инструкцию по быстрой настройке (quickstart) в README. Также доступны оговорки по использованию, поэтому лучше ознакомиться с документацией.
VLMEvalKit — это инструмент для оценки крупных языковых моделей с визуальным компонентом (LVLMs). Это открытый проект, который упрощает процесс оценки таких моделей, позволяя выполнять оценку одним нажатием кнопки на различных бенчмарках. VLMEvalKit использует метод оценки, основанный на генерации, и предоставляет результаты, полученные с применением как точного совпадения, так и извлечения ответов с помощью LLM (large language model).
Основные возможности
- Упрощенная оценка LVLMs на множестве бенчмарков без необходимости подготовительного этапа с данными.
- Поддержка различных бенчмарков для оценки визуальных и текстовых компонентов.
- Функциональность для работы с моделями, предоставляющими длинные ответы, с сохранением результатов в формате TSV для избежания обрезки данных.
- Интеграция с многоузловым распределенным выводом для ускорения процессов оценки.
Как установить и запустить
Для установки VLMEvalKit необходимо использовать Python пакет:
pip install vlmevalДля начала работы можно использовать следующий пример кода:
from vlmeval.config import supported_VLM
model = supported_VLM['idefics_9b_instruct']()
# Ввод одного изображения
ret = model.generate(['assets/apple.jpg', 'Что изображено на этом изображении?'])
print(ret) # Изображение представляет собой красное яблоко с листьями.
# Ввод нескольких изображений
ret = model.generate(['assets/apple.jpg', 'assets/apple.jpg', 'Сколько яблок на предоставленных изображениях?'])
print(ret) # На предоставленных изображениях два яблока.
Ограничения
Проект не предназначен для воспроизведения точных значений точности, указанных в оригинальных статьях для сторонних бенчмарков. Это связано с тем, что VLMEvalKit использует метод оценки на основе генерации, в то время как некоторые бенчмарки могут использовать другие методы. Кроме того, все LVLMs тестируются с одинаковыми шаблонами запросов, что может не совпадать с оптимизированными шаблонами для конкретных моделей.
Документация и поддержка
Дополнительную информацию, включая руководство по разработке и настройке, можно найти в [документации](https://github.com/open-compass/VLMEvalKit/docs/en/Quickstart.md). Проект активно поддерживается, и сообщество приветствует вклад от разработчиков, чтобы улучшить функциональность инструмента и добавить новые бенчмарки.
Радар проекта: 70 из 100 — крепкий проект
- Импульс 18 ≈ 2 звезды в день
- Темп разработки 82 104 коммита за 12 недель
- Зрелость 74 проекту 2 года, 4 релиза
- Сообщество 89 312 участников, 791 форк
- Свежесть 96 последний коммит — 6 дней назад
- Быстрый старт 45 есть: команда установки, сайт/демо
- Готовность к продакшену 75 релиз v0.3rc1, автосборка, тесты
- Безопасность и доверие 60 лицензия Apache-2.0, организация
- Документация 93 README 14.6 тыс. знаков, 11 разделов, папка docs
- Экосистема 71 14 подписчиков на обновления, 19 тем
Как считаем
Только открытые данные GitHub на 07.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: open-compass/VLMEvalKit →
