LLamaSharp: библиотека для запуска LLM на C#/.NET

LLamaSharp: библиотека для запуска LLM на C#/.NET

LLamaSharp — это библиотека на C#/.NET, позволяющая эффективно запускать LLM (среди прочих моделей, LLaMA) на локальных устройствах. Проект предлагает высокоуровневые API и поддержку Retrieval-Augmented Generation (RAG), что облегчает интеграцию больших языковых моделей в приложения.

Библиотека выделяется среди аналогичных решений своей простотой в использовании и кроссплатформенностью, а также эффективностью как на CPU, так и на GPU благодаря использованию библиотеки llama.cpp. Подходит для разработчиков, которые хотят внедрить LLM в свои .NET приложения или исследовать возможности локальной работы с моделями.

Чтобы запустить LLamaSharp, можно использовать NuGet пакеты, доступные для разных бэкендов: CPU, CUDA и Vulkan. Учти, что проект все еще может находиться на ранней стадии разработки и лучше подойдет для разработки и тестирования, чем для боевых систем на текущий момент.

LLamaSharp — это кроссплатформенная библиотека, позволяющая запускать модели LLaMA (и другие) на локальном устройстве. Она основана на llama.cpp и поддерживает эффективную работу как на CPU, так и на GPU. Библиотека предоставляет более высокоуровневые API и поддерживает RAG, обеспечивая удобное развертывание LLM (больших языковых моделей) в приложениях.

Установка и запуск

Для начала работы с LLamaSharp необходимо установить саму библиотеку и один или несколько пакетных бэкендов. LLamaSharp использует нативные библиотеки, скомпилированные из C++, поэтому никакой компиляции C++ выполнять не нужно — просто установи необходимые пакеты. Вот как это сделать:

PM> Install-Package LLamaSharp

Далее установи один или несколько из следующих бэкендов:

Если ни один из опубликованных бэкендов не подходит для твоего устройства, рекомендуется открыть issue.

Подготовка модели

LLamaSharp работает с моделями в формате GGUF, которые можно получить из форматов PyTorch (.pth) и Huggingface (.bin). Для получения файла GGUF у тебя есть два варианта:

  • Поискать модели в Huggingface с добавлением 'gguf' к названию модели; там можно найти много уже конвертированных файлов.
  • Конвертировать модель самостоятельно, следуя инструкциям из README llama.cpp.

Пример использования

Вот пример простого взаимодействия с ботом, основанным на LLM в LLamaSharp. Не забудь заменить путь к модели на свой:

string modelPath = @""; // измените на свой путь к модели.
var parameters = new ModelParams(modelPath)
{
    ContextSize = 1024,
    GpuLayerCount = 5
};
using var model = LLamaWeights.LoadFromFile(parameters);
using var context = model.CreateContext(parameters);
var executor = new InteractiveExecutor(context);

// Добавление истории чата
var chatHistory = new ChatHistory();
chatHistory.AddMessage(AuthorRole.System, "Transcript of a dialog...");
chatHistory.AddMessage(AuthorRole.User, "Hello, Bob.");
chatHistory.AddMessage(AuthorRole.Assistant, "Hello. How may I help you today?");

ChatSession session = new(executor, chatHistory);

// Запуск сессии
while (userInput != "exit")
{
    await foreach (var text in session.ChatAsync(new ChatHistory.Message(AuthorRole.User, userInput), inferenceParams))
    {
        Console.Write(text);
    }
    userInput = Console.ReadLine() ?? "";
}

Ограничения и советы

Несколько распространённых вопросов:

  • GPU не используется, хотя установлен CUDA? Убедись, что установлен пакет бэкенда, совместимый с установленной версией CUDA.
  • Инференс медленный? Для больший моделей требуется больше времени. Настрой GpuLayerCount на максимальное значение для улучшения производительности.
  • Программа зависает без вывода? Проверь совместимость нативной библиотеки и модели с используемой версией LLamaSharp.
  • Модель генерирует бесконечный вывод? Убедись, что ты установил анти-промпт или max-length при выполнении инференса.

Для получения дополнительной информации обращайся к документации и ресурсам проекта.

Радар проекта: 69 из 100 — крепкий проект

ИмпульсТемпЗрелостьСообществоСвежестьСтартПродакшенДовериеДокументацияЭкосистема69
  • Импульс 7 ≈ 13 звёзд в месяц
  • Темп разработки 74 67 коммитов за 12 недель
  • Зрелость 100 проекту 3 года, 32 релиза
  • Сообщество 80 101 участник, 517 форков
  • Свежесть 95 последний коммит — 8 дней назад
  • Быстрый старт 35 есть: сайт/демо
  • Готовность к продакшену 55 релиз v0.30.0, автосборка
  • Безопасность и доверие 75 лицензия MIT, организация
  • Документация 96 README 17.2 тыс. знаков, 14 разделов, папка docs
  • Экосистема 76 66 подписчиков на обновления, 11 тем
Как считаем

Только открытые данные GitHub на 14.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.

  • Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
  • Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
  • Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
  • Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
  • Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
  • Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
  • Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
  • Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
  • Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
  • Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.

Открыть на GitHub: SciSharp/LLamaSharp →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.
Подписаться

Похожие статьи

Популярные темы на сайте