LLamaSharp: библиотека для запуска LLM на C#/.NET
LLamaSharp — это библиотека на C#/.NET, позволяющая эффективно запускать LLM (среди прочих моделей, LLaMA) на локальных устройствах. Проект предлагает высокоуровневые API и поддержку Retrieval-Augmented Generation (RAG), что облегчает интеграцию больших языковых моделей в приложения.
Библиотека выделяется среди аналогичных решений своей простотой в использовании и кроссплатформенностью, а также эффективностью как на CPU, так и на GPU благодаря использованию библиотеки llama.cpp. Подходит для разработчиков, которые хотят внедрить LLM в свои .NET приложения или исследовать возможности локальной работы с моделями.
Чтобы запустить LLamaSharp, можно использовать NuGet пакеты, доступные для разных бэкендов: CPU, CUDA и Vulkan. Учти, что проект все еще может находиться на ранней стадии разработки и лучше подойдет для разработки и тестирования, чем для боевых систем на текущий момент.
LLamaSharp — это кроссплатформенная библиотека, позволяющая запускать модели LLaMA (и другие) на локальном устройстве. Она основана на llama.cpp и поддерживает эффективную работу как на CPU, так и на GPU. Библиотека предоставляет более высокоуровневые API и поддерживает RAG, обеспечивая удобное развертывание LLM (больших языковых моделей) в приложениях.
Установка и запуск
Для начала работы с LLamaSharp необходимо установить саму библиотеку и один или несколько пакетных бэкендов. LLamaSharp использует нативные библиотеки, скомпилированные из C++, поэтому никакой компиляции C++ выполнять не нужно — просто установи необходимые пакеты. Вот как это сделать:
PM> Install-Package LLamaSharp
Далее установи один или несколько из следующих бэкендов:
- LLamaSharp.Backend.Cpu: поддержка CPU для Windows, Linux и Mac (поддержка Metal для Mac).
- LLamaSharp.Backend.Cuda12: поддержка CUDA 12 для Windows и Linux.
- LLamaSharp.Backend.Vulkan: поддержка Vulkan для Windows и Linux.
Если ни один из опубликованных бэкендов не подходит для твоего устройства, рекомендуется открыть issue.
Подготовка модели
LLamaSharp работает с моделями в формате GGUF, которые можно получить из форматов PyTorch (.pth) и Huggingface (.bin). Для получения файла GGUF у тебя есть два варианта:
- Поискать модели в Huggingface с добавлением 'gguf' к названию модели; там можно найти много уже конвертированных файлов.
- Конвертировать модель самостоятельно, следуя инструкциям из README llama.cpp.
Пример использования
Вот пример простого взаимодействия с ботом, основанным на LLM в LLamaSharp. Не забудь заменить путь к модели на свой:
string modelPath = @""; // измените на свой путь к модели.
var parameters = new ModelParams(modelPath)
{
ContextSize = 1024,
GpuLayerCount = 5
};
using var model = LLamaWeights.LoadFromFile(parameters);
using var context = model.CreateContext(parameters);
var executor = new InteractiveExecutor(context);
// Добавление истории чата
var chatHistory = new ChatHistory();
chatHistory.AddMessage(AuthorRole.System, "Transcript of a dialog...");
chatHistory.AddMessage(AuthorRole.User, "Hello, Bob.");
chatHistory.AddMessage(AuthorRole.Assistant, "Hello. How may I help you today?");
ChatSession session = new(executor, chatHistory);
// Запуск сессии
while (userInput != "exit")
{
await foreach (var text in session.ChatAsync(new ChatHistory.Message(AuthorRole.User, userInput), inferenceParams))
{
Console.Write(text);
}
userInput = Console.ReadLine() ?? "";
}
Ограничения и советы
Несколько распространённых вопросов:
- GPU не используется, хотя установлен CUDA? Убедись, что установлен пакет бэкенда, совместимый с установленной версией CUDA.
- Инференс медленный? Для больший моделей требуется больше времени. Настрой GpuLayerCount на максимальное значение для улучшения производительности.
- Программа зависает без вывода? Проверь совместимость нативной библиотеки и модели с используемой версией LLamaSharp.
- Модель генерирует бесконечный вывод? Убедись, что ты установил анти-промпт или max-length при выполнении инференса.
Для получения дополнительной информации обращайся к документации и ресурсам проекта.
Радар проекта: 69 из 100 — крепкий проект
- Импульс 7 ≈ 13 звёзд в месяц
- Темп разработки 74 67 коммитов за 12 недель
- Зрелость 100 проекту 3 года, 32 релиза
- Сообщество 80 101 участник, 517 форков
- Свежесть 95 последний коммит — 8 дней назад
- Быстрый старт 35 есть: сайт/демо
- Готовность к продакшену 55 релиз v0.30.0, автосборка
- Безопасность и доверие 75 лицензия MIT, организация
- Документация 96 README 17.2 тыс. знаков, 14 разделов, папка docs
- Экосистема 76 66 подписчиков на обновления, 11 тем
Как считаем
Только открытые данные GitHub на 14.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: SciSharp/LLamaSharp →
RepoRadar