RepoRadar AIKit: упрощает развертывание и настройку больших языковых моделей
AIKit — это платформа для простого развертывания, настройки и использования открытых больших языковых моделей (LLM).
Проект адресует задачи удобного хостинга и тонкой настройки моделей, что упрощает работу с ними как для разработчиков, так и для исследователей. AIKit поддерживает совместимый с OpenAI REST API интерфейс через LocalAI, что позволяет интегрировать различные клиентские приложения, такие как Kubectl AI или Chatbot-UI. Плюс, доступна возможность упаковки моделей в OCI артефакты для удобного распределения.
Запуск требует только Docker или Podman, что делает его доступным даже без GPU или интернет-соединения. Стоит учесть, что это решение всё ещё развивается, так что возможны ограничения и баги. Если работаешь с LLM и ищешь простоту в развертывании, AIKit может стать полезным инструментом.
Что такое AIKit?
AIKit — это платформа, предназначенная для быстрого начала работы с хостингом, развертыванием, сборкой и тонкой настройкой крупных языковых моделей (LLMs). Она предоставляет множество возможностей для работы с LLM, включая индикацию, тонкую настройку и упаковку моделей.
Основные возможности
- Индикация: AIKit использует LocalAI, который поддерживает различные возможности и форматы индикации. LocalAI предоставляет совместимый REST API, что позволяет использовать любые клиенты, совместимые с OpenAI API.
- Тонкая настройка: Платформа предлагает интерфейс для тонкой настройки, поддерживая Unsloth, обеспечивая быстрый и эффективный процесс настройки моделей.
- Упаковка OCI: AIKit позволяет упаковывать модели в артефакты OCI для распространения через совместимые реестры.
Как установить и запустить AIKit?
AIKit можно быстро запустить на своем компьютере без необходимости в GPU. Чтобы развернуть AIKit, достаточно выполнить следующую команду:
docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8bПосле выполнения этой команды ты сможешь получить доступ к веб-интерфейсу по адресу http://localhost:8080/chat.
Использование API
AIKit предоставляет совместимый с OpenAI API конечный пункт, который позволяет отправлять запросы к открытым LLM, используя любой клиент, совместимый с OpenAI API. Пример команды для отправки запроса:
curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "llama-3.1-8b-instruct",
"messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
}'Ответ будет включать информацию от модели, которая объяснит заданный вопрос.
Ограничения и условия использования
AIKit поддерживает архитектуры AMD64 и ARM64, однако для использования GPU-ускорения могут потребоваться дополнительные настройки и поддержка NVIDIA CUDA или AMD ROCm. Рекомендуется ознакомиться с документацией по GPU ускорению для получения дополнительных инструкций.
Также AIKit предлагает преднастройки моделей, которые можно использовать сразу. Если конкретная модель отсутствует, можно создать собственные образы и разместить их в выбранном контейнерном реестре.
Заключение
AIKit — это мощный инструмент для работы с языковыми моделями, предлагающий простоту использования и множество возможностей для настройки и развертывания. Если ты заинтересован в более детальном изучении платформы, советую ознакомиться с [документацией AIKit](https://kaito-project.github.io/aikit/).
Открыть на GitHub: kaito-project/aikit →
