RAFT: библиотека алгоритмов и примитивов для ML с поддержкой CUDA

Изучаем проект RAFT

Что такое RAFT?

RAFT — это библиотека, содержащая основные и широко используемые алгоритмы и примитивы для машинного обучения иData mining. Алгоритмы в RAFT ускорены с помощью CUDA и служат строительными блоками для упрощенного написания высокопроизводительных приложений. Используя примитивный подход к разработке алгоритмов, RAFT:

• ускоряет время создания алгоритмов;
• снижает затраты на обслуживание путем максимального повторного использования;
• централизует основные вычисления, позволяя будущим оптимизациям касаться всех алгоритмов, которые их используют.

RAFT — это библиотека C++, которая представляет собой заголовочную библиотеку и опциональную общую библиотеку, позволяющую: 1. Ускорить время компиляции для общих шаблонных типов. 2. Предоставляет "системные" API, доступные хосту, которые не требуют компилятора CUDA. Кроме того, RAFT предлагает 2 библиотеки для Python: - `pylibraft` — легкие обертки для API RAFT. - `raft-dask` — инфраструктура для разработки распределенных алгоритмов на GPU с использованием Dask.

Подходит ли RAFT для меня?

RAFT предлагает низкоуровневые примитивы, которые ускоряют приложения и рабочие потоки. Разработчики приложений и поставщики исходных данных могут найти некоторые функции полезными. Также RAFT не предназначен для непосредственного использования учеными данных для открытия и экспериментов.

Как начать работу

RAFT активно использует менеджер памяти RAPIDS (RMM), который упрощает настройку различных стратегий выделения памяти. API RAFT принимает многомерные массивы с помощью `mdspan`, что похоже на `ndarray` в Python-библиотеке Numpy. Библиотека также содержит соответствующую структуру `mdarray`, которая упрощает выделение и управление многомерными данными в памяти хоста и устройства (GPU).

Пример на C++

Основные примитивы RAFT принимают объект `raft::device_resources` для управления ресурсами. Вот пример создания ручки RAFT и использования ее с `device_matrix` и `device_vector` для вычисления евклидовых расстояний: ```c++ #include #include #include #include raft::device_resources handle; int n_samples = 5000; int n_features = 50; float *input; int *labels; float *output; // Аллокация указателей на input, labels и output ... auto input_view = raft::make_device_matrix_view(input, n_samples, n_features); auto labels_view = raft::make_device_vector_view(labels, n_samples); auto output_view = raft::make_device_matrix_view(output, n_samples, n_samples); raft::random::make_blobs(handle, input_view, labels_view); auto metric = cuvs::distance::DistanceType::L2SqrtExpanded; cuvs::distance::pairwise_distance(handle, input_view, input_view, output_view, metric); ```

Пример на Python

Пакет `pylibraft` содержит API для RAFT, который плавно интегрируется с другими библиотеками. Пример вычисления евклидовых расстояний между массивами CuPy: ```python import cupy as cp from cuvs.distance import pairwise_distance n_samples = 5000 n_features = 50 in1 = cp.random.random_sample((n_samples, n_features), dtype=cp.float32) in2 = cp.random.random_sample((n_samples, n_features), dtype=cp.float32) output = pairwise_distance(in1, in2, metric="euclidean") ```

Установка RAFT

Библиотеки RAFT можно установить через Conda и Pip.

Установка через Conda

Самый простой способ установки RAFT — через conda. Для этого доступны несколько пакетов, включая `libraft-headers` и `pylibraft`. ```bash # Для CUDA 13 mamba install -c rapidsai -c conda-forge raft-dask pylibraft cuda-version=13.3 # Для CUDA 12 mamba install -c rapidsai -c conda-forge raft-dask pylibraft cuda-version=12.9 ```

Установка через Pip

`pylibraft` и `raft-dask` можно установить через pip: ```bash # Для CUDA 13 pip install pylibraft-cu13 pip install raft-dask-cu13 # Для CUDA 12 pip install pylibraft-cu12 pip install raft-dask-cu12 ```

Вклад в проект

Если ты хочешь внести свой вклад в проект RAFT, ознакомься с [руководством по внесению вклада](docs/source/contributing.md). Там ты найдёшь также [руководство для разработчиков](docs/source/developer_guide.md).

Ссылки

Для цитирования RAFT, рассматривай возможность ссылки на этот проект на GitHub: ```bibtex @misc{rapidsai, title={Rapidsai/raft: RAFT содержит основные и широко используемые алгоритмы и примитивы для науки о данных, графов и машинного обучения.}, url={https://github.com/rapidsai/raft}, journal={GitHub}, publisher={NVIDIA RAPIDS}, author={Rapidsai}, year={2022} } ```