Unsloth: локальное приложение для работы с LLM и диффузионными моделями

Что такое Unsloth?

Unsloth — это десктопное приложение, которое позволяет запускать и тренировать различные модели машинного обучения и искусственного интеллекта. Оно совместимо с Windows, macOS и Linux, а также поддерживает использование нескольких графических процессоров (GPU) и различных бэкендов, включая NVIDIA, AMD и Intel.

Зачем нужен Unsloth?

Unsloth предназначен для разработчиков и исследователей, которые хотят создавать, тренировать и развертывать модели машинного обучения и ИИ на своем компьютере. С его помощью можно работать с множеством моделей, таких как LLMs, MLX, а также осуществлять обработку изображений и видео.

Как установить и запустить

Существует несколько способов установки Unsloth:

Десктопное приложение (рекомендуется)

Ты также можешь установить Unsloth вручную:

Для macOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Для Windows:

irm https://unsloth.ai/install.ps1 | iex

Запуск Unsloth Studio (веб-интерфейс)

Запуск:

unsloth studio

Использование Docker:

docker run -d --gpus all --ipc=host \
  -p 8000:8000 -p 8888:8888 \
  -e UNSLOTH_STUDIO_PASSWORD="mypassword" -e JUPYTER_PASSWORD="mypassword" \
  -v "$PWD":/workspace/host \
  unsloth/unsloth

Особенности проекта

• Поддержка Multi GPU и различных типах графических процессоров.
• Возможность работы с моделями для текстов, изображений и аудио.
• Использование локальных моделей через API, совместимое с OpenAI.
• Функции для поиска, тренировки, развертывания моделей и работы с данными из различных форматов.
• Общение с сообществом через Discord и другие платформы.

Ограничения

Хотя Unsloth поддерживает множество функций, для достижения оптимальной производительности может потребоваться мощное оборудование, особенно для обучения крупных моделей. Кроме того, использование некоторых функций может подразумевать наличие доступа к интернету или к определенным API.

Поддержка и документация

Для получения более подробной информации об установке, доступных моделях и работе с Unsloth рекомендуем ознакомиться с документацией. Также доступно множество учебных материалов и ресурс для обучения, включая бесплатные ноутбуки для тренировки моделей.