RepoRadar video-recap-skills: создание китайских нарративов на основе видео
Проект video-recap-skills позволяет создавать китайские нарративные рецензии на видео, используя набор навыков от Claude Code и Codex. Он объединяет детекцию сцен, автоматическое распознавание речи (ASR), генерацию скриптов, синтез речи (TTS) и сборку с использованием ffmpeg.
Отличается от аналогичных решений тем, что позволяет экспортировать итоговое видео в редактируемый формат для JianYing/CapCut. Для запуска потребуется локальная установка ffmpeg и один ключ MiMo от Xiaomi, что делает процесс довольно простым, но имей в виду, что GPU не требуется.
Проект, судя по README, пока может быть в стадии тестирования, так что удобнее всего он будет разработчикам, которые работают с контентом на китайском языке и ищут способ автоматизировать создание видео-нарративов.
Проект Video Recap Skills от ZenStory AI предназначен для автоматического создания видеообзоров с голосовыми комментариями на китайском языке. Он использует шесть производственных навыков и один вспомогательный, позволяя пользователю задавать путь к видеофайлу и ожидания относительно итогового результата. Агент анализирует изображения и звучание, принимает решения по истории и визуальному оформлению, а затем выполняет монтаж, озвучивание и добавление субтитров. Проект поддерживает форматы видео такие как .mp4, .mov, .mkv и .webm.
Как устроен проект
Программа включает в себя семь ключевых навыков:
video-recap: основной управляющий модуль.video-understanding: анализирует видео, извлекает идеи и понятия.video-script: создает сценарий и текстовые комментарии.video-cut: отвечает за монтаж видео.video-voiceover: осуществляет озвучивание на базе полученного сценария.video-assemble: собирает итоговое видео с субтитрами.video-reference: предоставляет вспомогательные материалы для создания.
Установка и запуск
Для установки необходимы:
- Python версии 3.10 или выше.
- ffmpeg, установленный в системе.
- API ключ для Xiaomi MiMo.
Установку можно сделать следующим образом:
brew install ffmpeg
export MIMO_API_KEY=your-mimo-key
export MIMO_TOKEN_PLAN_CLUSTER=cn
После установки необходимо подключить плагин, используя команду в Claude Code:
/plugin marketplace add zenstory-ai/video-recap-skills
/plugin install video-recap-skills@video-recap
Функциональные возможности
Проект позволяет пользователю:
- Создавать видеообзоры с автоматическим монтажом и озвучиванием.
- Использовать сценарные планы для определения структуры видео.
- Экспортировать редактируемые проекты в 剪映 (CapCut).
- Сохранять и повторно использовать анализируемые видео материалы.
Ограничения
Существуют некоторые ограничения:
- Необходима правильная конфигурация ffmpeg и MiMo API.
- Проект требует стабильного интернет-соединения для работы с удалёнными ресурсами.
- При редактировании больших видео могут возникать ограничения по времени и ресурсам.
Этот проект может быть полезен для создания видеообзоров, образовательных материалов или для автоматизации процесса обработки видео контента, предоставляя мощные инструменты для работы с видео.
Открыть на GitHub: zenstory-ai/video-recap-skills →
