RepoRadar Quivr V2: обработка потокового контента в удобном формате для поиска
Quivr V2 — это открытый движок для обработки потокового контента, который превращает его в удобный для поиска и мониторинга формат. Проект решает проблему наличия и обработки данных в реальном времени, позволяя не только быстро индексировать, но и обогащать информацию без потери данных при сбоях.
В отличие от других решений, Quivr V2 ориентирован на надежность: записи подтверждаются только после успешного сохранения, что исключает потерю данных. Также поддерживается идемпотентность — повторные запросы дают одинаковый результат, что полезно в сложных распределенных системах. Платформа гибкая благодаря плагинам для различных форматов и правил, что делает её подходящей как для разработчиков, так и для бизнеса, желающего настроить систему под себя.
Проект написан на Go и использует PostgreSQL для хранения данных, а также S3 для хранения артефактов. Однако стоит учесть, что Quivr V2 находится на стадии оценки: его API еще может изменяться, поэтому запуск в продакшене не рекомендуется.
Quivr V2 — это открытый движок, который преобразует непрерывные потоки контента в поиск и мониторинг. Он позволяет надежно инжестировать контент, делать его доступным для поиска в течение нескольких секунд, а также обогащать данные в фоновом режиме. Проект нацелен на то, чтобы следить за темами с течением времени. Важно, что ядро Quivr остается универсальным, а специфические форматы, модели ИИ и бизнес-правила могут быть добавлены через плагины, что позволяет адаптировать платформу под конкретные нужды пользователя.
Статус: стадион оценки. API находится на версии `v0`, может изменяться без предварительного уведомления, поэтому не рекомендуется использовать в продакшене.
Почему Quivr V2?
- Надежность прежде всего. Запись подтверждается только после ее завершения; отключения не теряют и не скрывают контент.
- Идемпотентность. Каждая запись имеет ключ идемпотентности.
- Поиск с минимальным временем задержки. Текст становится доступным для поиска сразу после сегментации.
- Возможность восстановления индексов. Данные хранятся в PostgreSQL и совместимом с S3 хранилище.
- Честный поиск. Каждый результат извлекается из канонического хранилища.
- Расширяемость. Возможности подключения, нормализации и обогащения реализованы через плагины.
Как установить и запустить Quivr V2
Для работы Quivr V2 требуется следующее окружение: Linux (x86_64) или macOS (Apple Silicon). Необходимо установить Go 1.27.1, Docker с Compose v2, Python 3 с venv, Node.js 22+ и jq. При первом запуске будут загружены необходимые изображения и модель E5 (около 1 ГБ).
make dev # Запуск зависимостей, миграции, API и worker
make check # Проверка документации, контрактов, тестов
make verify # Проверка функциональности на изолированном стеке
make down # Остановка всего, сохранение данных
Команда make verify запускает наборы приемочных тестов для каждой функции и печатает вывод о неудачных проверках. После выполнения команды make dev ты получишь адрес API и путь к файлу config.json с временными локальными ключами. Далее следуй [быстрому старту](https://docs.quivr.thevibecompany.co/quickstart).
Что умеет Quivr V2
На данный момент проект поддерживает:
- Создание и постоянное хранение корпусов с API ключами на организацию и действия.
- Надежную и идемпотентную загрузку контента.
- Поиск: лексический и семантический с проверками доступа.
- Мониторинг изменений с помощью пульсации и SSE.
- Уведомления по ключевым словам и описаниям через плагины.
- Создание и управление подписками для получения уведомлений о новых записях.
Ограничения
Quivr V2 находится на этапе оценки, и API может существенно измениться. Важно отметить, что запуск проекта в продакшене не рекомендуется, так как разработка продолжается и функции могут быть добавлены или изменены. Для подробной информации об ограничениях обязательно ознакомься с документом [оставшиеся ограничения](docs/quivr-v2-remaining-limits.md).
Открыть на GitHub: The-Vibe-Company/quivr →