Beam: платформа для GPU-инференса и фоновых задач без управления инфраструктурой

Проект beam-cloud/beta9 представляет собой открытый движок для запуска серверных AI-работ с минимальными затратами на инфраструктуру. Он позволяет разработчикам быстро и просто развертывать и масштабировать AI-приложения, используя Python-ориентированный интерфейс.

Основные возможности

• Быстрые холодные старты: возможность запускать контейнеры менее чем за секунду благодаря специализированному механизму контейнеров и кеширования.
• Параллелизация и конкурентность: поддержка развертывания задач на сотнях контейнеров одновременно.
• Удобный интерфейс для разработчиков: функции горячей перезагрузки, вебхуки и запланированные задания.
• Масштабируемость: серверless-подход, при котором рабочие нагрузки по умолчанию адаптируются к требованиям.
• Объемное хранилище: возможность монтирования распределенных хранилищ.
• Поддержка GPU: возможность работы на облачных GPU или использование собственных решений.

Установка и развертывание

Для установки проекта достаточно выполнить следующую команду:

pip install beam-client

Чтобы начать работать с Beam, тебе нужно:

1. Создать учетную запись на официальном сайте.
2. Следовать руководству по началу работы.

Примеры использования

Вот как можно создать песочницу для запуска сгенерированного LLM кода:

from beam import Image, Sandbox

sandbox = Sandbox(image=Image()).create()
response = sandbox.process.run_code("print('I am running remotely')")

print(response.result)

Также можно развернуть серверный эндпоинт для автоматического масштабирования:

from beam import Image, endpoint
from beam import QueueDepthAutoscaler

@endpoint(
    image=Image(python_version="python3.11"),
    gpu="A10G",
    cpu=2,
    memory="16Gi",
    autoscaler=QueueDepthAutoscaler(max_containers=5, tasks_per_container=30)
)
def handler():
    return {"label": "cat", "confidence": 0.97}

Для запуска фоновых задач можно использовать простой декоратор:

from beam import Image, TaskPolicy, schema, task_queue

class Input(schema.Schema):
    image_url = schema.String()

@task_queue(
    name="image-processor",
    image=Image(python_version="python3.11"),
    cpu=1,
    memory=1024,
    inputs=Input,
    task_policy=TaskPolicy(max_retries=3),
)
def my_background_task(input: Input, *, context):
    image_url = input.image_url
    print(f"Processing image: {image_url}")
    return {"image_url": image_url}

if __name__ == "__main__":
    my_background_task.put(image_url="https://example.com/image.jpg")

Self-Hosting и ограничения

Beta9 - это открытый движок, который является основой для полностью управляемой облачной платформы Beam. Ты можешь бесплатно развернуть Beta9 самостоятельно или выбрать управляемый облачный хостинг через Beam. Необходимо учитывать, что проект ориентирован на разработчиков, которые ищут функционал для автоматического масштабирования и упрощения работы с AI-приложениями.