RepoRadar AReaL: инфраструктура для обучения с подкреплением и AI-агентов
AReaL — это инфраструктура для обучения с подкреплением, предназначенная для взаимодействия между обучением языковых моделей и современными агентными приложениями. Она создана для повышения эффективности и масштабируемости процесса, что делает её удобной для разработчиков, занимающихся созданием AI-агентов.
Основное преимущество AReaL — это возможность полной асинхронной тренировки, что позволяет эффективно использовать ресурсы при работе с большими моделями. Это важно для разработчиков, которым нужно быстро настраивать и тестировать свои AI-решения без задержек. Платформа поддерживает гибкую кастомизацию, легко интегрируется с различными приложениями и может быть адаптирована под специфические задачи.
Проект разработан на Python и используется более опытными пользователями в области машинного обучения. Инструкция по старту и настройке доступна в документации, а также есть примеры реализации. Однако стоит учесть, что AReaL может требовать определённой технической подготовки и знаний в области RL.
AReaL — это система обучения с помощью подкрепления (RL), разработанная для соединения обучения фундаментальных моделей с современными агентскими приложениями. Проект был создан исследователями и инженерами из Tsinghua IIIS и команды AReaL компании Ant Group.
Проект основан на полностью асинхронной парадигме обучения RL, что делает его высокоэффективным и масштабируемым, что идеально подходит для обучения крупных моделей, способных к рассуждениям и действиям. Цель AReaL — сделать разработку AI-агентов доступной, эффективной и экономически выгодной для широкой аудитории разработчиков и исследователей.
Основные возможности
- ⚡ Гибкость: Легкая настройка для агентского RL и онлайн-моделей обучения.
- 📈 Масштабируемость: Устойчивое и быстрое обучение с помощью RL.
- ✨ Современная производительность: Поддержка обучения для различных моделей и применения в таких областях, как математика, кодирование и клиентское обслуживание.
Как установить и запустить
Чтобы начать работу с AReaL, необходимо установить пакет. Выполни следующие команды:
git clone https://github.com/areal-project/AReaL
cd AReaL
pip install uv
uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"
uv sync --extra cuda
Для запуска на одном узле можно использовать следующую команду:
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
Если ты предпочитаешь запускать эксперименты на кластере Ray, обнови пути в YAML-файле и выполни команду:
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml \
cluster.n_nodes=2 cluster.n_gpus_per_node=8 \
cluster.fileroot=/path/to/nfs \
scheduler.type=ray
Примеры использования
AReaL предоставляет различные примеры для обучения в области математики и рассуждений, агентского RL, а также интеграции визуально-языковых моделей:
- Math: Обучение модели на наборе данных GSM8K (математические задачи).
- Agentic RL: Обучение агентов на различных методах и с использованием различных API.
- Vision-Language Models: Интеграция с визуально-языковыми задачами и обучение на специализированном оборудовании.
Ограничения и поддержка
AReaL поддерживает множество алгоритмов RL, но некоторые версии моделей могут иметь ограничения на обновление весов. Например, обновления с использованием XCCL могут требовать специфических настроек. Для того чтобы избежать ошибок, важно следовать инструкциям в документации по интеграции моделей и конфигурации.
Таким образом, AReaL представляет собой мощный инструмент для всех, кто заинтересован в разработке и исследовании методов обучения с подкреплением, с акцентом на гибкость и производительность.
Открыть на GitHub: areal-project/AReaL →
