RepoRadar Reef: инфраструктура для обучения самосовершенствующихся агентов
Reef — это инфраструктура для непрерывного обучения самосовершенствующихся агентов. Главная задача проекта — упрощение процесса обучения ИИ на основе обратной связи от пользователей, позволяя агентам эволюционировать и адаптироваться.
В отличие от других решений, Reef фокусируется на интеграции всех этапов: от обработки данных до обучения и доставки обновлений. Его можно использовать для тренировки весов модели с помощью Slime и SGLang, а также для оптимизации «обёртки» агентов, включая правила и навыки. Этот инструмент будет полезен разработчикам, стремящимся создать более «умных» агентов, использующих полученные знания для улучшения своей работы.
Проект написан на Python 3.10 и выше. Запуск доступен через документацию на сайте, которая поможет быстро стартовать. Обрати внимание, что проект всё ещё развивается, поэтому могут быть не все функции или стабильность, которые ты ожидаешь.
Проект Reef представляет собой первую открытоисточниковую инфраструктуру для непрерывного обучения агентов, способных самостоятельно улучшаться. Он объединяет такие процессы, как восприятие, обратная связь, обучение и управляемая доставка версий. С помощью Reef можно обучать модельные веса с использованием Slime и SGLang, а также улучшать навыки агента, его правила и команды.
🎯 Когда стоит использовать Reef
Reef подходит, если ты хочешь, чтобы твой агент продолжал улучшаться, обучаясь на основе взаимодействий с ним.
| Твоя цель | Путь обучения | Что тебе нужно |
|---|---|---|
| Увеличить мощность модели, адаптированную под тебя | Обучение модельных весов | Обучаемая модель, поддерживаемый стек GPU и обратная связь для рецептов |
| Самоулучшающаяся оболочка | Оптимизация оболочки | Конечная точка модели, представительные задачи и оценщик; не требуется локальная GPU-обработка |
| Научные открытия | Обучение во время тестов | Исполнительная среда, проверка корректности и измеримый объект |
🔄 Как это работает
В Reef каждый цикл обучения делится на четыре этапа:
| Этап | Что происходит | Где это реализовано |
|---|---|---|
| 1 · Обслуживание | Обслуживание запросов агентов и запись взаимодействий. | service/, runtime/ |
| 2 · Наблюдение | Сопоставление обратной связи с записанными взаимодействиями. | storage/records.py, train/processors/ |
| 3 · Рост | Создание обновления на основе подходящих записей. | recipe/, train/ |
| 4 · Коммит | Применение конфигурационной политики выбора и публикация принятых обновлений. | train/evaluation/, artifact/, surface/ |
📦 Установка
Для работы Reef требуется система git-lfs. Reef инициализирует Git LFS для своих репозиториев артефактов.
Рекомендуется использовать uv для управления пакетами. Команды установки будут выглядеть так:
Установка из PyPI
uv venv && source .venv/bin/activate
uv pip install reef-infra
python3 -c "import reef; print(reef.__version__)"Установка из исходников
git lfs install
git clone https://github.com/Human-Agent-Society/reef.git
cd reef
uv venv && source .venv/bin/activate
uv pip install -e .
python3 -c "import reef; print(reef.__version__)"🔧 Использование Reef
Reef поддерживает два типа обучения: веса модели и оболочки агента. Рецепт развертывания определяет, какой тип будет обновляться в сценариях.
Для минимального примера, чтобы запустить Reef в режиме сервера для анализа, можно выполнить следующую команду:
uv run reef serve --inference.model-path Qwen/Qwen2.5-1.5B-InstructДля более сложного развертывания, например, обучения весов, следуй инструкциям выше и используй этот пример.
Как только рецепт получит достаточно обратной связи, он выполнит шаг обучения и синхронизирует обновленные веса без перезапуска Reef.
📚 Рецепты и примеры
Выбор рецепта будет зависеть от типа задачи и того, что должно эволюционировать: модельные веса или оболочка агента. Каждый рецепт имеет свою документацию, примеры кода и результаты.
Более подробную информацию можно найти в официальной документации.
Радар проекта: 81 из 100 — зрелый и живой проект
- Импульс 90 ≈ 115 звёзд в день
- Темп разработки 100 722 коммита за 12 недель
- Зрелость 43 проекту 2 месяца, 5 релизов
- Сообщество 74 43 участника, 731 форк
- Свежесть 97 последний коммит — 5 дней назад
- Быстрый старт 45 есть: команда установки, сайт/демо
- Готовность к продакшену 75 релиз v0.1.3, автосборка, тесты
- Безопасность и доверие 100 лицензия Apache-2.0, SECURITY.md, организация
- Документация 100 README 17.6 тыс. знаков, 19 разделов, папка docs
- Экосистема 85 516 подписчиков на обновления, 8 тем
Как считаем
Только открытые данные GitHub на 07.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: Human-Agent-Society/reef →
