LM Studio JS: интеграция локальных языковых моделей в проекты

Проект lmstudio-js представляет собой официальный JavaScript SDK для LM Studio, написанный на TypeScript. Он предназначен для работы с локальными языковыми моделями (LLM) и позволяет эффективно интегрировать их в приложения на JavaScript.

Основные возможности

• Взаимодействие с LLM для ответов в чатах и предсказания текстов.
• Определение функций как инструментов, превращая LLM в автономных агентов, работающих локально.
• Загрузка, конфигурация и выгрузка моделей из памяти.
• Поддержка как браузеров, так и среды, совместимой с Node.js.
• Генерация встраиваемых представлений (embeddings) для текста.

Установка

Чтобы установить lmstudio-js, используй следующую команду:

npm install @lmstudio/sdk --save

Пример использования

Вот простой пример, который демонстрирует использование SDK для получения ответа от модели:

import { LMStudioClient } from "@lmstudio/sdk";
const client = new LMStudioClient();

const model = await client.llm.model("llama-3.2-1b-instruct");
const result = await model.respond("What is the meaning of life?");

console.info(result.content);

Дополнительные примеры и документацию можно найти в [документации lmstudio-js](https://lmstudio.ai/docs/typescript).

Преимущества использования lmstudio-js

По сравнению с SDK от OpenAI, lmstudio-js предлагает больше возможностей для работы в локальном окружении:

• Управление загрузкой и выгрузкой моделей из памяти.
• Настройка параметров загрузки (длина контекста, настройки GPU и др.).
• Спекулятивное декодирование.
• Получение информации о модели, такой как длина контекста, размер модели и другие параметры.

Вклад в проект

Если ты хочешь помочь в разработке, можешь собрать проект локально, следуя этим шагам:

git clone https://github.com/lmstudio-ai/lmstudio-js.git --recursive
cd lmstudio-js
npm install
npm run build

Дополнительную информацию смотри в файле CONTRIBUTING.md.

Ограничения

Обрати внимание, что изменения мажорных версий могут вносить несовместимые изменения в API.

Для обсуждений и общения с сообществом можно присоединиться к каналу #dev-chat на Discord сервере LM Studio.