RepoRadar Slotstream: запуск 105 ГБ AI модели на Mac с ограниченной памятью
Slotstream — это проект, позволяющий запускать 105 ГБ AI модель на Mac с 48 ГБ оперативной памяти. Главная фишка заключается в том, что он использует SSD для хранения большей части модели и подгружает необходимые данные в память по мере использования.
Сравнение с более традиционными подходами заключается в том, что Slotstream полностью написан на Swift и использует возможности Apple MLX и Metal, что обеспечивает высокую производительность без зависимости от Python или облачных сервисов. Это особенно полезно для пользователей Mac с ограниченной оперативной памятью (16-64 ГБ), которые хотят работать с большими моделями без необходимости в мощном железе. Проект также включает API и библиотеку Swift для интеграции с другими приложениями.
На текущий момент Slotstream работает только на macOS и требует скачивания модели, что может занять время. Таким образом, проект находится на ранней стадии, но уже сейчас может стать полезным инструментом для разработчиков и исследователей, нуждающихся в большом объёме модели на ограниченных ресурсах.
Slotstream — это проект, позволяющий запускать большой AI-модель Qwen3.8-Flash-Next на Mac с ограниченной оперативной памятью от 16 до 64 ГБ. Программа работает, загружая часть модели из SSD в память по мере необходимости, что позволяет использовать модель, которая в обычных условиях не поместилась бы в память устройства.
Slotstream предназначен для использования на Apple Silicon Mac и не поддерживает Windows, Linux или Intel Mac. Чтобы запустить проект на своей машине, тебе понадобятся:
- Apple Silicon Mac с не менее чем 16 ГБ ОЗУ;
- macOS 14 или более поздняя версия;
- Около 110 ГБ свободного пространства на SSD.
После одноразовой загрузки модели она полностью работает офлайн, без необходимости в Python или облачных аккаунтах. Установить Slotstream можно с помощью одной команды в терминале:
curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | shПосле установки ты можешь проверить работоспособность, выполнив следующие команды:
slotstream doctor
slotstream run --prompt "Почему небо голубое?"Проект позволяет взаимодействовать с моделью через командную строку и различные API, поддерживающие интеграцию с другими приложениями или агентами кода, такими как Claude Code или Codex. Однако стоит отметить, что Slotstream не оптимизирован для Mac с 96 ГБ памяти и более, так как в таких системах модель полностью помещается в память.
Ключевыми ограничениями Slotstream являются:
- Поддержка только одной генерации текста за раз, так как приложения, подключенные к модели, используют одну и ту же работу;
- Длина разговора ограничена, а более длинные истории требуют больше памяти и времени;
- Нет широких бенчмарков для оценки производительности с другими моделями.
Slotstream — это удобное решение для владельцев Mac, которые хотят использовать мощные AI-модели без необходимости в высоких характеристиках оборудования. Если у тебя есть подходящий Mac, ты можешь использовать этот проект для запуска мощного AI прямо на своем устройстве.
Открыть на GitHub: carloslfu/slotstream →
