RepoRadar Beam: платформа для GPU-инференса и фоновых задач без управления инфраструктурой
Beam — это открытая платформа для сервера AI, которая позволяет запускать GPU-инференс и фоновые задания без управления инфраструктурой. Она заточена под развертывание и масштабирование AI-приложений с минимальными задержками.
Основная задача проекта — обеспечить быструю обработку AI-заданий с возможностью запуска контейнеров за секунду. Это решение достойно внимания разработчиков, которые ищут способ быстро разворачивать свои модели без необходимости заботиться о серверной части. Beam поддерживает параллельную обработку, что особенно полезно для масштабирования при высоких нагрузках. У него есть Python-интерфейс для удобного развертывания, а также поддержка хранения данных и GPU.
Проект запускается на облачной инфраструктуре Beam с использованием GPU NVIDIA 4090. Важно отметить, что лицензия AGPL накладывает ограничения на коммерческое использование, так что это стоит учитывать при внедрении.
Проект beam-cloud/beta9 представляет собой открытый движок для запуска серверных AI-работ с минимальными затратами на инфраструктуру. Он позволяет разработчикам быстро и просто развертывать и масштабировать AI-приложения, используя Python-ориентированный интерфейс.
Основные возможности
- Быстрые холодные старты: возможность запускать контейнеры менее чем за секунду благодаря специализированному механизму контейнеров и кеширования.
- Параллелизация и конкурентность: поддержка развертывания задач на сотнях контейнеров одновременно.
- Удобный интерфейс для разработчиков: функции горячей перезагрузки, вебхуки и запланированные задания.
- Масштабируемость: серверless-подход, при котором рабочие нагрузки по умолчанию адаптируются к требованиям.
- Объемное хранилище: возможность монтирования распределенных хранилищ.
- Поддержка GPU: возможность работы на облачных GPU или использование собственных решений.
Установка и развертывание
Для установки проекта достаточно выполнить следующую команду:
pip install beam-clientЧтобы начать работать с Beam, тебе нужно:
- Создать учетную запись на официальном сайте.
- Следовать руководству по началу работы.
Примеры использования
Вот как можно создать песочницу для запуска сгенерированного LLM кода:
from beam import Image, Sandbox
sandbox = Sandbox(image=Image()).create()
response = sandbox.process.run_code("print('I am running remotely')")
print(response.result)Также можно развернуть серверный эндпоинт для автоматического масштабирования:
from beam import Image, endpoint
from beam import QueueDepthAutoscaler
@endpoint(
image=Image(python_version="python3.11"),
gpu="A10G",
cpu=2,
memory="16Gi",
autoscaler=QueueDepthAutoscaler(max_containers=5, tasks_per_container=30)
)
def handler():
return {"label": "cat", "confidence": 0.97}Для запуска фоновых задач можно использовать простой декоратор:
from beam import Image, TaskPolicy, schema, task_queue
class Input(schema.Schema):
image_url = schema.String()
@task_queue(
name="image-processor",
image=Image(python_version="python3.11"),
cpu=1,
memory=1024,
inputs=Input,
task_policy=TaskPolicy(max_retries=3),
)
def my_background_task(input: Input, *, context):
image_url = input.image_url
print(f"Processing image: {image_url}")
return {"image_url": image_url}
if __name__ == "__main__":
my_background_task.put(image_url="https://example.com/image.jpg")Self-Hosting и ограничения
Beta9 - это открытый движок, который является основой для полностью управляемой облачной платформы Beam. Ты можешь бесплатно развернуть Beta9 самостоятельно или выбрать управляемый облачный хостинг через Beam. Необходимо учитывать, что проект ориентирован на разработчиков, которые ищут функционал для автоматического масштабирования и упрощения работы с AI-приложениями.
Открыть на GitHub: beam-cloud/beta9 →
