RTK: CLI-прокси для снижения потребления токенов LLM
RTK — это CLI-прокси, который уменьшает потребление токенов LLM на 60-90% при выполнении общих команд разработки. Он фильтрует и сжимает вывод команд, что позволяет твоему LLM обрабатывать только важную информацию, сокращая объем данных, которые он читает.
Основное отличие RTK от традиционных решений в том, что это единственный бинарник на Rust с нулевыми зависимостями и поддержкой более 100 команд. Это значит, что ты можешь быстро запустить его без лишней настройки. Если ты разработчик, который часто работает с LLM и ищет способ оптимизировать свои команды и снизить затраты, RTK точно пригодится.
Запуск прост: достаточно установить бинарник, и ты готов к работе. Обрати внимание, что проект находится на ранних стадиях разработки, что может повлечь за собой некоторые ограничения в функционале. В случае возникновения проблем, команда предоставляет документацию и поддержку в Discord.
Проект RTK (Rust Token Killer) представляет собой высокопроизводительный CLI прокси, который оптимизирует вывод команд в терминале, позволяя сократить объем данных, обрабатываемых агентами, до 90%. Это особенно полезно для работы с командными выводами, так как уменьшает количество токенов, которые используются при взаимодействии с языковыми моделями.
Что делает RTK
RTK перехватывает команды оболочки и сжимает их вывод перед тем, как они будут прочитаны вашим агентом. Основные функции проекта включают:
- Сокращение вывода для команд, таких как `ls`, `git`, `docker`, что позволяет получить более компактные и удобные для анализа результаты.
- Фильтрация ненужной информации, сгруппирование схожих элементов и удаление избыточных строк.
- Поддержка более 100 команд, в том числе популярных инструментов разработки и тестирования.
Как установить
RTK можно установить различными способами, в зависимости от вашей операционной системы:
- Homebrew (рекомендуется для macOS):
brew install rtk - winget (для Windows):
winget install rtk-ai.rtk - Быстрая установка (Linux/macOS):
curl -fsSL https://raw.githubusercontent.com/rtk-ai/rtk/refs/heads/master/install.sh | sh - Cargo:
cargo install --git https://github.com/rtk-ai/rtk - Предварительно собранные двоичные файлы: загрузите их с [releases](https://github.com/rtk-ai/rtk/releases).
Быстрый старт
После установки RTK, инициализируйте его для использования с вашим AI инструментом:
rtk init -g
После инициализации, перезапустите ваш AI инструмент и тестируйте команды:
git status # будет автоматически переписано на rtk git status
Если использование RTK не требует дополнительных действий со стороны пользователя, команды будут обрабатываться автоматически, что обеспечивает полное использование RTK без дополнительной нагрузки.
Ограничения
Несмотря на мощные функции RTK, есть некоторые ограничения:
- RTK работает только с вызовами команд оболочки Bash. Некоторые встроенные инструменты AI не обрабатываются, и для их использования необходимо явно указывать команды RTK.
- Сокращение до 90% относится к выводу команд, а не к фактическим затратам на токены. RTK не включает токенизатор, поэтому точные числа токенов могут быть приблизительными.
Также важно помнить, что не все команды могут быть оптимизированы одинаково, и результат будет зависеть от специфики каждой команды и контекста их использования.
Заключение
RTK является мощным инструментом для разработчиков, которые хотят уменьшить объем данных, обрабатываемых при взаимодействии с командными интерфейсами. Его простота установки и интеграции делает его отличным выбором для оптимизации рабочего процесса.
Открыть на GitHub: rtk-ai/rtk →
RepoRadar