Slotstream: запуск 105 ГБ AI модели на Mac с ограниченной памятью

Slotstream: запуск 105 ГБ AI модели на Mac с ограниченной памятью

Slotstream — это проект, позволяющий запускать 105 ГБ AI модель на Mac с 48 ГБ оперативной памяти. Главная фишка заключается в том, что он использует SSD для хранения большей части модели и подгружает необходимые данные в память по мере использования.

Сравнение с более традиционными подходами заключается в том, что Slotstream полностью написан на Swift и использует возможности Apple MLX и Metal, что обеспечивает высокую производительность без зависимости от Python или облачных сервисов. Это особенно полезно для пользователей Mac с ограниченной оперативной памятью (16-64 ГБ), которые хотят работать с большими моделями без необходимости в мощном железе. Проект также включает API и библиотеку Swift для интеграции с другими приложениями.

На текущий момент Slotstream работает только на macOS и требует скачивания модели, что может занять время. Таким образом, проект находится на ранней стадии, но уже сейчас может стать полезным инструментом для разработчиков и исследователей, нуждающихся в большом объёме модели на ограниченных ресурсах.

Slotstream — это проект, позволяющий запускать большой AI-модель Qwen3.8-Flash-Next на Mac с ограниченной оперативной памятью от 16 до 64 ГБ. Программа работает, загружая часть модели из SSD в память по мере необходимости, что позволяет использовать модель, которая в обычных условиях не поместилась бы в память устройства.

Slotstream предназначен для использования на Apple Silicon Mac и не поддерживает Windows, Linux или Intel Mac. Чтобы запустить проект на своей машине, тебе понадобятся:

  • Apple Silicon Mac с не менее чем 16 ГБ ОЗУ;
  • macOS 14 или более поздняя версия;
  • Около 110 ГБ свободного пространства на SSD.

После одноразовой загрузки модели она полностью работает офлайн, без необходимости в Python или облачных аккаунтах. Установить Slotstream можно с помощью одной команды в терминале:

curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh

После установки ты можешь проверить работоспособность, выполнив следующие команды:

slotstream doctor
slotstream run --prompt "Почему небо голубое?"

Проект позволяет взаимодействовать с моделью через командную строку и различные API, поддерживающие интеграцию с другими приложениями или агентами кода, такими как Claude Code или Codex. Однако стоит отметить, что Slotstream не оптимизирован для Mac с 96 ГБ памяти и более, так как в таких системах модель полностью помещается в память.

Ключевыми ограничениями Slotstream являются:

  • Поддержка только одной генерации текста за раз, так как приложения, подключенные к модели, используют одну и ту же работу;
  • Длина разговора ограничена, а более длинные истории требуют больше памяти и времени;
  • Нет широких бенчмарков для оценки производительности с другими моделями.

Slotstream — это удобное решение для владельцев Mac, которые хотят использовать мощные AI-модели без необходимости в высоких характеристиках оборудования. Если у тебя есть подходящий Mac, ты можешь использовать этот проект для запуска мощного AI прямо на своем устройстве.

Радар проекта: 67 из 100 — крепкий проект

ИмпульсТемпЗрелостьСообществоСвежестьСтартПродакшенДовериеДокументацияЭкосистема67
  • Импульс 36 ≈ 6 звёзд в день
  • Темп разработки 100 664 коммита за 12 недель
  • Зрелость 68 проекту 3 месяца, 38 релизов
  • Сообщество 44 8 участников, 54 форка
  • Свежесть 95 последний коммит — 8 дней назад
  • Быстрый старт 30 есть: команда установки
  • Готовность к продакшену 65 релиз v0.2.30, автосборка
  • Безопасность и доверие 80 лицензия MIT, SECURITY.md
  • Документация 100 README 15.8 тыс. знаков, 26 разделов, папка docs
  • Экосистема 56 3 подписчика на обновления, 18 тем
Как считаем

Только открытые данные GitHub на 07.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.

  • Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
  • Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
  • Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
  • Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
  • Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
  • Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
  • Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
  • Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
  • Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
  • Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.

Открыть на GitHub: carloslfu/slotstream →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.
Подписаться

Похожие статьи

Популярные темы на сайте