Hugging Face Transformers: работа с моделями машинного обучения

Проект Transformers от команды Hugging Face является мощной библиотекой для работы с передовыми моделями машинного обучения в различных областях, включая текст, компьютерное зрение, аудио и мультимодальные задачи. Эта библиотека позволяет как проводить инференс, так и обучать модели.

Библиотека централизует определение моделей, обеспечивая согласованность в экосистеме. Если определение модели поддерживается, оно будет совместимо с большинством фреймворков для тренировки (таких как PyTorch, DeepSpeed и др.) и библиотек для инференса. В Transformers доступно более 1 миллиона предобученных контрольных точек моделей, которые можно использовать в собственных проектах.

Установка

Для работы с Transformers потребуется Python версии 3.10 или выше и PyTorch версии 2.5 или выше.

Создай и активируй виртуальное окружение, используя venv или uv:

# venv
python -m venv .my-env
source .my-env/bin/activate
# uv
uv venv .my-env
source .my-env/bin/activate

Установи библиотеку в виртуальном окружении:

# pip
pip install "transformers[torch]"

# uv
uv pip install "transformers[torch]"

Если ты хочешь использовать последние изменения из библиотеки или планируешь участвовать в её разработке, установи Transformers из исходного кода:

git clone https://github.com/huggingface/transformers.git
cd transformers

# pip
pip install '.[torch]'

# uv
uv pip install '.[torch]'

Быстрый старт

Ты можешь быстро начать работать с Transformers через API Pipeline, который поддерживает задачи обработки текста, аудио и изображения. Этот интерфейс обрабатывает ввод и возвращает соответствующий вывод.

Вот пример, как использовать Pipeline для генерации текста:

from transformers import pipeline

pipeline = pipeline(task="text-generation", model="Qwen/Qwen2.5-1.5B")
pipeline("the secret to baking a really good cake is ")
[{'generated_text': 'the secret to baking a really good cake is 1) to use the right ingredients...'}]

Также можно использовать Pipeline для общения с моделью, создав историю чата:

chat = [
    {"role": "system", "content": "You are a sassy, wise-cracking robot."},
    {"role": "user", "content": "Hey, can you tell me any fun things to do in New York?"}
]

pipeline = pipeline(task="text-generation", model="meta-llama/Meta-Llama-3-8B-Instruct", dtype=torch.bfloat16, device_map="auto")
response = pipeline(chat, max_new_tokens=512)
print(response[0]["generated_text"][-1]["content"])

Почему использовать Transformers?

• Простота в использовании: высокопроизводительные модели с низким порогом входа для исследователей и разработчиков.
• Экономия вычислительных ресурсов и снижение углеродного следа: делись предобученными моделями вместо того, чтобы обучать их с нуля.
• Гибкость выбора фреймворков: тренируй модели всего в три строки кода и меняй фреймворки по своему усмотрению.
• Легкость в кастомизации моделей: предоставляются примеры для каждой архитектуры, что позволяет воспроизводить результаты оригинальных авторов.

Когда не стоит использовать Transformers?

• Библиотека не является модульным инструментом для сборки нейросетей. Код в файлах моделей не реорганизован с дополнительными абстракциями намеренно.
• API для тренировки оптимизирован для работы с моделями PyTorch, предоставляемыми библиотекой. Для более универсальных случаев использования стоит обратиться к другим библиотекам.
• Примеры в example scripts могут не работать "из коробки" для твоих конкретных случаев использования и требуют адаптации.