Duckle: open-source платформа для создания и управления данными

--- ## Что такое Duckle? Duckle — это платформа ETL с открытым исходным кодом, которую ты запускаешь на своей инфраструктуре. Просто перетащи источники, преобразования, валидаторы и приемники на графический интерфейс, соедините их и нажми **Запустить**. Duckle компилирует граф в SQL и выполняет его на офлайн-движке с поддержкой реальных предварительных просмотров, где сгенерированный SQL виден на каждом узле, и без скрытого состояния. Ты создаешь поток на своем ноутбуке и разворачиваешь тот же файл на сервере, где он выполняется по расписанию под веб-консолью с ролями, уведомлениями и журналом аудита. Ничто не переписывается между запуском, и ничего не измеряется. Вкратце: бесплатная платформа ETL с открытым исходным кодом, которая предоставляет альтернативу хостингам с оплатой за обработанные строки, таким как Fivetran и Airbyte, — один поток для извлечения, преобразования и загрузки, который работает везде и также может запускать dbt внутри одного инструмента. ### Четыре вещи, которые выделяют его: 1. **AI-помощник, поставляемый в комплекте.** Описывая желаемый поток на английском языке, Duckie генерирует JSON и размещает его на графическом интерфейсе. Модель работает там, где работает Duckle — никакие ключи API, никакая телеметрия и никакие запросы к вендору. Укажи свою собственную совместимую конечную точку OpenAI, если ты предпочитаешь, чтобы она не выполнялась локально. 2. **400+ готовых компонентов.** Файлы, лейкхаусы, SQL-базы данных, хранилища, NoSQL, векторные базы данных, брокеры потоков, SaaS REST/GraphQL API, даже FTP и IMAP — всё доступно уже сейчас. 3. **Аудитируемый самодостаточный бинарный файл.** 73 до 110 МБ в зависимости от твоей платформы. Движки устанавливаются при первом запуске. Рабочие пространства — это обычные файлы в выбранной тобой папке. Разница между ними, ответственные за каждый шаг — редкие без скрытых соединений. 4. **Нативная скорость.** Исполнение проходит через DuckDB: векторизованное, колоннарное, локальное. Работа чистой очистки и экспорта, которая буксует в таблице, завершается за миллисекунды. --- ### Установка и запуск 1. **Загрузить** двоичный файл для своей ОС (см. [Download / Install](#download--install)) — или [построить из исходников](#build-from-source). 2. **Запустить.** Первый запуск открывает модальное окно настройки: - Нажми **Установить** на DuckDB (обязательно, занимает ~30 секунд). - При желании нажми **Установить** на помощника AI Duckie (~1,1 ГБ, в среднем 5-10 минут при обычном широкополосном интернете). 3. **Выбери папку для рабочего пространства.** Потоки, соединения, переменные контекста и рутинные задачи находятся там в виде обычных файлов. 4. **Построй поток разными способами:** - **Перетаскивание и провода**: перетащи **CSV источник** и укажи [`samples/orders.csv`](samples/orders.csv), нажми **Автоопределить схему**. Перетащи **Фильтр**, соедините их. Перетащи **Приемник Parquet** с выходным путем. Нажми **Запустить**, смотри, как узлы оживают. - **Скажи Duckie**: нажми иконку **Искр** (в правом верхнем углу панели), напиши *"прочитать orders.csv, отфильтровать где status = 'paid', записать в paid.parquet"*. Когда Duckie вернёт поток, нажми **Вставить в граф**. 5. **Проверь.** Нажми на любой узел, чтобы увидеть сгенерированный SQL на вкладке **План** и образцы строк на вкладке **Предварительный просмотр**. --- ## Ограничения и совместимость Duckle — независимый проект, который создан для работы на машине. Это значит, что поток данных создан для локальной и небольшой команды, чтобы быстро работать, а не заменять распределённое хранилище. Duckle не бывает облачным решением и не заменит ни одно из них. Ограничения включают: - Duckle не распараллеливает один запрос на кластер, как это делает обширная СУБД. Если требуется больше ресурсов, включите опцию "pushdown", чтобы запрос выполнялся в системе, где находятся данные, или направьте выход в хранилище, которое масштабируется. --- ## Лицензия Лицензирован под лицензионными соглашениями **MIT** или **Apache-2.0**, на ваш выбор.