RepoRadar ArchiveBox: архивирует веб-страницы и хранит данные локально
ArchiveBox — это приложение для самохостинга, которое позволяет архивировать веб-страницы в различных форматах.
С помощью ArchiveBox ты можешь сохранять URL, историю браузера, закладки и контент из таких сервисов, как Pocket или Pinboard. Всё это автоматически преобразуется в форматы, которые легко использовать, такие как HTML, PDF и JSON. Это полезно для разработчиков и исследователей, которым важно хранить и структурировать важные веб-ресурсы для последующего анализа или работы. ArchiveBox отличается от аналогичных решений возможностью полного контроля над архивированием и хранения данных, поскольку ты сам управляешь своим сервером.
Проект написан на Python и использует Docker для развертывания. Запуск доступен через команды Docker или установку в среде Python. Пожалуйста, учитывай, что проект всё ещё находится на ранней стадии, и может потребоваться собственный ключ API для некоторых функций. Лицензия MIT позволяет коммерческое использование.
ArchiveBox — это приложение с открытым исходным кодом для саморазмещения, которое позволяет сохранять контент с веб-сайтов в различных форматах. Проект направлен на то, чтобы сделать твои данные полезными и доступными в стандартных форматах, таких как HTML, PDF, JSON и других. ArchiveBox также включает CLI, REST API и вебхуки, что позволяет интегрировать его с другими сервисами.
С помощью ArchiveBox ты можешь сохранить как общественные, так и частные веб-данные, сохраняя контроль над своими данными. Это может быть полезным для создания резервных копий, сохранения научных статей или сохранять доказательства в юридических делах.
Установка и запуск
ArchiveBox устанавливается несколькими способами. Вот основные из них:
- Docker (рекомендуется):
mkdir -p ~/archivebox/data && cd ~/archivebox
curl -fsSL 'https://docker-compose.archivebox.io' > docker-compose.yml
docker compose pull
docker compose up -d --wait
mkdir -p ~/archivebox/data && cd ~/archivebox/data
docker run -d --name archivebox -v "$PWD:/data" -p 8000:8000 archivebox/archivebox:dev
uv tool install --python 3.13 --prerelease explicit --upgrade 'archivebox>=0.9.0rc0,<0.10'
mkdir -p ~/archivebox/data && cd ~/archivebox/data
archivebox init
archivebox install
После установки ты сможешь получить доступ к интерфейсу управления по адресу http://admin.archivebox.localhost:8000 (если используешь Docker) или http://web.archivebox.localhost:8000 для общего доступа. Также доступны команды для работы с архивами.
Основные возможности
- Поддержка различных форматов входных данных, включая ссылки из RSS, JSON, TXT, а также экспортированные закладки из браузеров.
- Сохранение контента в различных форматах, таких как HTML, PDF, PNG и других.
- Веб-интерфейс и мощное CLI для управления архивами.
- Автоматическое хранение данных в месте, удобном для доступа и длительного хранения.
- Возможность записи нескольких снимков для одного URL.
- Поддержка сценариев на JavaScript для обхода блокировок на некоторых сайтах.
Ограничения
Служба ArchiveBox может потребовать значительного объема дискового пространства, особенно если ты сохранишь много мультимедийного контента. Потребление дискового пространства может сильно варьироваться в зависимости от охвата архивируемых данных.
Кроме того, в некоторых случаях могут возникнуть сложности с сохранением приватного контента или веб-страниц, содержащих токены для доступа. Владельцы данных должны учитывать необходимость защиты таких данных и настраивать конфигурации безопасности.
Заключение
ArchiveBox — это мощный инструмент для архивирования веб-контента, который может быть полезным как для индивидуальных пользователей, так и для организаций. Он предоставляет пользователям возможность сохранить важные данные и обеспечить к ним доступ в будущем. Если ты ищешь надежное решение для архивирования веб-страниц с полной защитой и контролем своих данных, ArchiveBox станет отличным выбором.
Открыть на GitHub: ArchiveBox/ArchiveBox →
