RepoRadar Atomic Chat: локальное приложение для нейросетевых агентов
Atomic Chat — это локальное приложение и движок для нейросетевых агентов, позволяющее запускать модели с открытыми весами на твоем компьютере. Проект актуален для разработчиков и исследователей, которые хотят работать с LLM без подключения к интернету, обеспечивая таким образом конфиденциальность и полное управление данными.
В отличие от облачных решений, Atomic Chat не требует постоянного доступа к интернету и сторонним серверам. Это особенно полезно для тех, кто заботится о приватности или работает с чувствительной информацией. Приложение написано на JavaScript с использованием Node.js и Tauri, что позволяет легко развернуть его на локальном уровне.
Чтобы запустить Atomic Chat, требуется скачать и установить последнюю версию из релизов. На данный момент проект находится в активной разработке, так что учти, что некоторые функции могут быть не до конца оптимизированы. Убедись, что у тебя последняя версия Node.js (≥20) для стабильной работы.
**Atomic Chat** — это локальное приложение для общения с искусственным интеллектом и движок для инференса, который позволяет запускать открытые модели языковых моделей (LLM) на твоем компьютере. Это решение дает возможность использовать ИИ без подключения к интернету, сохраняя полную конфиденциальность.
Особенности
- Поддержка локальных и облачных моделей: можно запускать Open Weight LLMs, таких как Llama и Gemma, а также использовать API OpenAI через локальный сервер.
- Высокая производительность: реализует несколько методов декодирования (например, Multi-Token Prediction), что обеспечивает ускорение работы на поддерживаемых моделях.
- Интуитивно понятный интерфейс с возможностью интеграции функционала популярных инструментов разработки.
- Приватность данных: всё выполняется локально без утечек информации в интернет.
Установка и запуск
Приложение доступно для различных операционных систем:
- macOS: Скачать .dmg
- Windows: Скачать .exe
- Linux: Скачать .AppImage или установить через пакетный менеджер.
На системах Linux, для установки из репозитория, можно использовать следующие команды:
# Debian/Ubuntu
curl -fsSL https://atomic-chat-packages.fsn1.your-objectstorage.com/atomic-chat.gpg | sudo tee /usr/share/keyrings/atomic-chat-app.gpg >/dev/null
echo "deb [signed-by=/usr/share/keyrings/atomic-chat-app.gpg] https://atomic-chat-packages.fsn1.your-objectstorage.com/deb stable main" \
| sudo tee /etc/apt/sources.list.d/atomic-chat-app.list
sudo apt update && sudo apt install atomic-chat
API и интеграции
Atomic Chat запускает совместимый с OpenAI сервер на http://localhost:1337/v1. Это позволяет использовать любой клиент, который поддерживает OpenAI API, включая библиотеки на Python и интеграции с сторонними приложениями.
Например, отправка запроса к серверу может выглядеть так:
curl http://localhost:1337/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "",
"messages": [{ "role": "user", "content": "Say hello in one word" }]
}'
Системные требования
Проверяй, чтобы твоя система соответствовала следующим требованиям:
- macOS: версия 13.6 и выше, минимум 8 ГБ ОП для 3B моделей, 16 ГБ для 7B и 32 ГБ для 13B.
- Windows: версии 10/11 x64, с аналогичными требованиями к памяти.
- Linux: x86_64, glibc ≥ 2.35, требует аналогичных объемов памяти.
- iOS и Android: доступно в App Store и Google Play соответственно.
Ограничения
Хотя Atomic Chat предлагает множество возможностей, учти, что не все модели могут быть доступны и некоторые из них могут требовать значительных вычислительных ресурсов. Также, для корректной работы API необходимо использование локальной сети.
Открыть на GitHub: AtomicBot-ai/Atomic-Chat →
