RepoRadar sqz: инструмент для сжатия контекста LLM с экономией токенов
sqz — инструмент для сжатия контекста LLM, помогающий экономить токены и снижать затраты. Он подойдет разработчикам, использующим языковые модели для обработки больших объемов данных, где важна оптимизация расхода токенов.
Проект позволяет добиться значительного уменьшения использования токенов — в среднем на 24,7%, а с использованием дедупликации — до 92%. Это делает его полезным для приложений, которые требуют частого обращения к большому контексту, например, в чат-ботах или системах обработки естественного языка. sqz доступен как библиотека на нескольких платформах — Rust, NPM и PyPI, а также есть плагины для VS Code и Firefox.
Ограничение в том, что проект еще в активной разработке, а значит могут быть баги или недоработки. Если тебе нужно сэкономить на токенах и ты работаешь с LLM, стоит обратить внимание на sqz.
Проект sqz предназначен для сжатия вывода команд перед его передачей в языковую модель (LLM). Это позволяет экономить токены и снизить затраты, обеспечивая эффективное использование ресурсов. Проект реализован в виде одного бинарного файла на Rust и не требует настройки.
Основная особенность sqz — это дедупликация. Если один и тот же файл считывается несколько раз за сессию, sqz отправляет его только один раз, а для каждого повторного чтения возвращает 13-токенную ссылку. Это значительно снижает общее количество токенов, необходимых для обработки.
Экономия токенов
- В среднем удается сократить использование токенов на 24.7%.
- При повторном чтении одного и того же файла сократили использование до 92%.
- На вывод команд, таких как shell и git, экономим до 86% токенов.
Эффективность sqz подтверждается статистикой реальных сессий — за 3003 компрессии было сэкономлено 178442 токена.
Установка и запуск
Существует несколько способов установки sqz:
# macOS / Linux
curl -fsSL https://raw.githubusercontent.com/ojuschugh1/sqz/main/install.sh | sh
# Windows (PowerShell)
irm https://raw.githubusercontent.com/ojuschugh1/sqz/main/install.ps1 | iex
# Установка через npm
npm install -g sqz-cli
# Установка через Homebrew
brew tap ojuschugh1/sqz
brew install sqz
Для сборки из исходников требуется Cargo и C инструментальная цепочка. После установки нужно инициализировать sqz:
sqz init --global # для установки на всех проектах
# или
sqz init # для текущего проекта
Как это работает
Инструмент sqz перехватывает вывод команд, которые ты запускаешь, и сжимает его перед тем, как передать в LLM. Таким образом, программа сжимает вывод команд, включая такие форматы как git, cargo, npm, и другие, что позволяет значительно сократить объем передаваемых данных.
Ограничения
Несмотря на свою эффективность, sqz не сжимает стековые трассировки, сообщения об ошибках и секреты, которые маршрутизируются в безопасный режим с 0% сжатием. Кроме того, команды с однозначными ссылками могут вызывать проблемы с некоторыми моделями, если они не могут распознать формат сжатия.
За дополнительной информацией и примерами можно ознакомиться с документацией проекта и включенными инструкциями по использованию.
Открыть на GitHub: ojuschugh1/sqz →
