Molt: фреймворк для агентного Reinforcement Learning на Hugging Face

Molt: фреймворк для агентного Reinforcement Learning на Hugging Face

Molt — это фреймворк для исследования агентного Reinforcement Learning, основанный на Hugging Face, который фокусируется на масштабируемости и многомодальности. Он использует такие технологии, как Ray и vLLM, и призван облегчить разработку и тестирование моделей RL на уровне 1 Тфлопс.

Этот проект выделяется на фоне других решений благодаря своей минималистичной архитектуре и полной асинхронности, что позволяет использовать его для сложных многопользовательских сценариев. Molt будет полезен исследователям и разработчикам, работающим в области RL, которые хотят интегрировать свои модели с библиотеками Hugging Face и применять их к вопросам, требующим высокой вычислительной мощности.

Для запуска потребуется PyTorch и соответствующие зависимости, которые, скорее всего, описаны в документации. Обрати внимание, что репозиторий может иметь ограничения на платформу или поддержку только для определённых конфигураций, поэтому стоит внимательно изучить README перед началом работы.

Проект Molt от NVIDIA-NeMo — это минималистичный и масштабируемый фреймворк для исследований в области агентного обучения с подкреплением (RL), который полностью совместим с Hugging Face. Он предназначен для работы с многомодальными данными и многопользовательскими взаимодействиями, поддерживает асинхронность и предлагает возможность масштабирования до уровня моделей класса 1 триллион.

Зачем нужен Molt?

Molt фокусируется на исследовательской скорости в области агентного обучения, предлагая инструменты для быстрой разработки и тестирования. Система строится вокруг концепции "агент — это программа", позволяя легко создавать среды обучения и добавлять собственные метрики вознаграждения. Фреймворк базируется на PyTorch и включает компоненты Ray для управления асинхронными очередями, vLLM для обработки запросов и NeMo AutoModel для обучения.

Как установить и запустить Molt?

Для начала требуется клонировать репозиторий:

git clone https://github.com/NVIDIA-NeMo/labs-molt.git
cd labs-molt

Рекомендуется использовать Docker для установки, так как он упрощает настройку окружения. Для этого нужно выполнить следующие команды:

docker pull hijkzzz/molt:latest
docker build -f dockerfile/Dockerfile -t hijkzzz/molt:latest .

Если ты предпочитаешь локальную установку без контейнера, необходимо установить зависимости:

pip install -e ".[vllm]" --extra-index-url https://wheels.vllm.ai/c410543d9ffff03f5f6c4a8c0ae1d3ad082c4a15

Имей в виду, что для работы необходима CUDA 13.

Как запустить обучение?

Мolt поддерживает обучение с учителем (SFT) и обучение с подкреплением (RL). Простой пример для SFT:

torchrun --standalone --nproc_per_node=8 -m molt.cli.train_sft \
  --model.model_name_or_path /path/to/automodel \
  --data.dataset /path/to/sft.jsonl \
  --data.input_key input \
  --data.output_key output \
  --ckpt.output_dir ./ckpt/sft \
  --fsdp.attn_implementation te

Для RL процесс выглядит аналогично:

python3 -m molt.cli.train_rl_ray \
  --actor.model_name_or_path /path/to/automodel \
  --data.prompt_dataset /path/to/prompts.jsonl \
  --data.input_key input \
  --data.label_key answer \
  --train.agent_path examples/python/agents/math.py \
  --vllm.num_engines 2 \
  --vllm.tensor_parallel_size 2 \
  --rollout.batch_size 128 \
  --train.batch_size 128 \
  --train.micro_batch_size 1 \
  --algo.advantage.estimator reinforce \
  --fsdp.attn_implementation te \
  --ckpt.output_dir ./ckpt/rl

Все связанные скрипты можно найти в каталоге examples/scripts/.

Ограничения и особенности

Важно помнить о следующих аспектах:

  • Molt требует наличия CUDA 13 и поддержки необходимого оборудования.
  • Для эффективного использования компонентов vLLM и NeMo AutoModel необходима внимательная настройка, особенно при работе с большими моделями.
  • Проект заточен на агентное обучение, поэтому может не подойти для задач, не связанных с этой областью.

Документация и поддержка

Для более подробной информации о функционале и настройках проекта доступно руководство на официальном сайте: docs. Там ты найдёшь разделы по агентам, алгоритмам обучения и другим аспектам Molt.

Радар проекта: 77 из 100 — зрелый и живой проект

ИмпульсТемпЗрелостьСообществоСвежестьСтартПродакшенДовериеДокументацияЭкосистема77
  • Импульс 43 ≈ 9 звёзд в день
  • Темп разработки 89 159 коммитов за 12 недель
  • Зрелость 66 проекту 5 месяцев, 16 релизов
  • Сообщество 60 24 участника, 138 форков
  • Свежесть 97 последний коммит — 5 дней назад
  • Быстрый старт 80 есть: команда установки, Docker, сайт/демо, примеры
  • Готовность к продакшену 75 релиз v0.2.2, автосборка, тесты
  • Безопасность и доверие 100 лицензия Apache-2.0, SECURITY.md, организация
  • Документация 98 README 15.4 тыс. знаков, 19 разделов, папка docs
  • Экосистема 61 5 подписчиков на обновления, 10 тем
Как считаем

Только открытые данные GitHub на 15.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.

  • Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
  • Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
  • Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
  • Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
  • Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
  • Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
  • Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
  • Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
  • Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
  • Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.

Открыть на GitHub: NVIDIA-NeMo/labs-molt →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.
Подписаться

Похожие статьи

Популярные темы на сайте