TensorFold — это движок для инференса языковых моделей на Apple Silicon и NVIDIA GPU с использованием Metal и CUDA. Он позволяет запускать модели без ...
mlx-serve — это сервер для локального запуска языковых моделей на Apple Silicon. Он позволяет работать с моделями в форматах MLX и GGUF и предоставляе...