MNN — это лёгкий и быстрый движок для инференса, разработанный Alibaba, который оптимизирован для работы с LLM и Edge AI. Он предназначен для тех, кто...
RTP-LLM — высокопроизводительный движок для инференса больших языковых моделей от Alibaba. Он оптимизирован для различных приложений и активно использ...