AIKit: упрощает развертывание и настройку больших языковых моделей

Что такое AIKit?

AIKit — это платформа, предназначенная для быстрого начала работы с хостингом, развертыванием, сборкой и тонкой настройкой крупных языковых моделей (LLMs). Она предоставляет множество возможностей для работы с LLM, включая индикацию, тонкую настройку и упаковку моделей.

Основные возможности

• Индикация: AIKit использует LocalAI, который поддерживает различные возможности и форматы индикации. LocalAI предоставляет совместимый REST API, что позволяет использовать любые клиенты, совместимые с OpenAI API.
• Тонкая настройка: Платформа предлагает интерфейс для тонкой настройки, поддерживая Unsloth, обеспечивая быстрый и эффективный процесс настройки моделей.
• Упаковка OCI: AIKit позволяет упаковывать модели в артефакты OCI для распространения через совместимые реестры.

Как установить и запустить AIKit?

AIKit можно быстро запустить на своем компьютере без необходимости в GPU. Чтобы развернуть AIKit, достаточно выполнить следующую команду:

docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b

После выполнения этой команды ты сможешь получить доступ к веб-интерфейсу по адресу http://localhost:8080/chat.

Использование API

AIKit предоставляет совместимый с OpenAI API конечный пункт, который позволяет отправлять запросы к открытым LLM, используя любой клиент, совместимый с OpenAI API. Пример команды для отправки запроса:

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  }'

Ответ будет включать информацию от модели, которая объяснит заданный вопрос.

Ограничения и условия использования

AIKit поддерживает архитектуры AMD64 и ARM64, однако для использования GPU-ускорения могут потребоваться дополнительные настройки и поддержка NVIDIA CUDA или AMD ROCm. Рекомендуется ознакомиться с документацией по GPU ускорению для получения дополнительных инструкций.

Также AIKit предлагает преднастройки моделей, которые можно использовать сразу. Если конкретная модель отсутствует, можно создать собственные образы и разместить их в выбранном контейнерном реестре.

Заключение

AIKit — это мощный инструмент для работы с языковыми моделями, предлагающий простоту использования и множество возможностей для настройки и развертывания. Если ты заинтересован в более детальном изучении платформы, советую ознакомиться с [документацией AIKit](https://kaito-project.github.io/aikit/).