RepoRadar LMBenchmark: оценка языковых моделей в создании рассказов
Это бенчмарк для оценки, как хорошо языковые модели (LLM) справляются с созданием коротких рассказов, включающих 10 обязательных элементов сюжета. Он сравнительно анализирует произведения с одинаковыми ограничениями, а также использует оценочные модели для ранжирования написанных рассказов.
Проект будет полезен разработчикам и исследователям в сфере обработки естественного языка, которые хотят иметь представление о сравнительной производительности различных LLM в жанре художественного письма. Бенчмарк уже охватывает 56 моделей и более 15 000 пар рассказов, что позволяет получить важные данные для дальнейшего улучшения алгоритмов.
Технология написана на Python, а запуск осуществляется через стандартные процессы для выполнения бенчмарков. У проекта есть ограничения: результаты могут варьироваться из-за случайных факторов, таких как выбор образцов и моделей оценщиков. Необходимо учитывать, что это исследовательский проект, и его применение в коммерции может быть ограничено.
Проект LLM Creative Story-Writing Benchmark предназначен для оценки способности различных языковых моделей (LLM) к созданию коротких рассказов в соответствии с заранее заданными ограничениями. Цель проекта — сравнить произведения, написанные разными моделями, используя одни и те же креативные задания, и оценить качество написанного с помощью независимых оценщиков.
Как это работает
Оценка происходит следующим образом:
- Модели генерируют рассказы по заданным требованиям, которые включают десять обязательных элементов: персонажи, объекты, концепции, атрибуты, действия, методы, установки, временные рамки, мотивацию и тон.
- Каждый рассказ проходит оценку двумя независимыми моделями-оценщиками, которые смотрят на пары рассказов в обоих порядках и выбирают лучший из них.
- На основании этих оценок рассчитываются относительные баллы для каждой модели.
Установка и запуск
Инструкция по установке не приведена в README, но ты можешь найти истории и подсказки в папках prompts_wc/ и stories_wc/. Данные о текущих оценках и результатах можно найти в data/writing_missing_matchups_20260927/README.md.
Результаты и ограничения
На данный момент проект охватывает 56 языковых моделей и включает 15,043 уникальных пар рассказов, оцененных более чем 101,000 раз. Каждое сравнение включает истории, написанные по одним и тем же требованиям, что позволяет сохранять высокую степень сопоставимости.
Однако важно отметить, что общие оценки не всегда отражают индивидуальные качества рассказов, такие как оригинальность или литературный стиль. Сравнения проводятся по завершенным историям, так что модели с неполными наборами рассказов могут иметь выставленные оценки с ограничениями.
Дополнительные результаты
В проекте также представлены различные метрики, такие как согласие оценщиков, соблюдение пределов по количеству слов и статистические анализы по времени. Для каждой модели есть отчёты о парных сравнениях, которые дают представление о том, как каждая из них справилась с различными задачами.
Заключение
Проект LLM Creative Story-Writing Benchmark предоставляет полезный способ оценить и сравнить творчество разных языковых моделей, помогая исследователям и разработчикам лучше понять их возможности и ограничения. Ты можешь использовать этот инструмент для оценки производительности существующих моделей и исследования их навыков в создании креативного текста.
Радар проекта: 40 из 100 — ранний этап — пробовать с осторожностью
- Импульс 6 ≈ 11 звёзд в месяц
- Темп разработки 52 18 коммитов за 12 недель
- Зрелость 54 проекту 22 месяца, 1 релиз
- Сообщество 30 4 участника, 11 форков
- Свежесть 89 последний коммит — 19 дней назад
- Быстрый старт 0 инструкции по запуску не нашли
- Готовность к продакшену 25 релиз benchmark-data-2026-08-23
- Безопасность и доверие 10 без лицензии
- Документация 76 README 14.9 тыс. знаков, 16 разделов
- Экосистема 58 14 подписчиков на обновления, 9 тем
Как считаем
Только открытые данные GitHub на 07.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: lechmazur/writing →
