RepoRadar Soup: быстрая доработка больших языковых моделей с YAML-файлом
Soup — проект для быстрой и простой доработки больших языковых моделей (LLM) с использованием одного YAML-файла. Он позволяет провести финальную настройку и пост-обучение моделей всего одной командой, без необходимости сложной конфигурации и SSH-доступа.
Основное преимущество Soup — это возможность тренировать модели размером до 8 миллиардов параметров на обычном ноутбуке с GPU в 4 ГБ. Такой подход может быть полезен разработчикам, занимающимся разработкой приложений на искусственном интеллекте, где важна кастомизация модели под специфические задачи. Библиотека написана на Python и поддерживает версии 3.10—3.12.
Для запуска нужно установить зависимость soup-cli, после чего ты сможешь использовать его из командной строки. Обращай внимание, что проект в активной разработке, поэтому могут быть некоторые ограничения и баги. Доступна документация и веб-интерфейс для упрощения работы с моделью.
Проект **Soup** — это инструмент для тонкой настройки и пост-тренировки моделей генерации текста (LLM) с минимальными усилиями. Он упрощает процесс обучения, позволяя выполнять его в один шаг, без необходимости настраивать SSH или сложные конфигурации.
Что делает Soup?
Soup позволяет тебе тонко настраивать модели LLM, например, для обработки запросов в чатах, с помощью простого YAML-конфига. С помощью этого инструмента ты можешь:
- Тренировать модели, используя всего один терминальный командный вызов.
- Обрабатывать обучение на локальных GPU, даже на устройствах с 4 ГБ VRAM.
- Воспользоваться функцией потоковой передачи слоев для оптимизации использования памяти.
Как установить и запустить
Чтобы установить Soup, тебе понадобится Python версии 3.10-3.12. Рекомендуется создать изолированную среду для установки. Вот основные команды для установки:
pipx install soup-cli
pipx install "soup-cli[train]" # для добавления возможности тренировки
# или установить из GitHub для самой свежей версии
pipx install "git+https://github.com/MakazhanAlpamys/Soup.git"
После установки запустите команду для инициализации конфигурации:
soup init --template chat
А затем можешь начать тренировку, используя:
soup train
Функции и примеры
Soup предоставляет множество опций для конфигурации моделей и тренировки.
- Тренировку модели можно начать с команд:
soup train --config soup.yaml
soup chat --model ./output
soup export --model ./output --format gguf --quant q4_k_m
soup ui
Ограничения
Несмотря на удобство использования, Soup имеет некоторые ограничения:
- Для работы необходим GPU с CUDA или Apple Silicon (CPU поддерживается, но работает очень медленно).
- Для моделей с 7B параметрами требуется минимум 8 ГБ VRAM.
- Поддерживаются только версии Python 3.10, 3.11 и 3.12; 3.13 не поддерживается из-за проблем совместимости с PyTorch.
Заключение
Soup — мощный инструмент для упрощения процесса обучения и настройки LLM, который может быть полезен как для новичков, так и для опытных пользователей. Если ты ищешь способ оптимизировать свою работу с моделями генерации текста, Soup стоит попробовать.
Открыть на GitHub: MakazhanAlpamys/Soup →
