WebLLM: выполнение языковых моделей в браузере с ускорением
WebLLM — это высокопроизводительный движок для выполнения LLM прямо в браузере с аппаратным ускорением. Проект решает задачу запуска языковых моделей в браузере без необходимости серверной поддержки, что позволяет обеспечить конфиденциальность и доступность работы моделей.
Отличительная особенность WebLLM в том, что он совместим с OpenAI API, что позволяет использовать открытые модели локально так же, как и с API OpenAI. Если тебе нужно создать AI-ассистента или другой инструмент на базе языковой модели, этот проект подойдет для быстрого прототипирования и разработки веб-приложений. Он использует WebGPU для аппаратного ускорения, что заметно улучшает производительность по сравнению с другими решениями.
Чтобы запустить WebLLM, достаточно установить npm-пакет @mlc-ai/web-llm. Учти, что проект находится на ранней стадии, и некоторые фишки, такие как function-calling, еще в разработке. Подходит для разработчиков, стремящихся объединить модели ИИ с веб-технологиями.
WebLLM — это высокопроизводительный движок вывода языковых моделей, работающий непосредственно в браузере с использованием аппаратного ускорения. Он позволяет выполнятьInference языковых моделей прямо в браузере без необходимости обращения к серверу, при этом применяя WebGPU для ускорения вычислений.
Проект совместим с OpenAI API, что позволяет использовать аналогичные функции и возможности при работе с любыми моделями с открытым исходным кодом.
WebLLM может быть использован в качестве npm-пакета для создания собственных веб-приложений, а также предоставляет ряд примеров для облегчения интеграции.
Ключевые функции
- Вывод в браузере: Поддержка мощных операций языковой модели в самом браузере без серверной обработки.
- Совместимость с OpenAI API: Легкая интеграция с приложениями через OpenAI API.
- Структурированная генерация JSON: Поддержка режима JSON для эффективного создания выходных данных в формате JSON.
- Широкая поддержка моделей: Включает Llama 3, Phi 3, Gemma и другие.
- Интеграция пользовательских моделей: Возможность легко адаптировать WebLLM под специфические требования.
- Поддержка потоковой передачи и взаимодействия в реальном времени: Поддержка потоковой генерации чата для интерактивных приложений.
- Поддержка Web Worker и Service Worker: Оптимизация производительности за счет выполнения вычислений в отдельных потоках.
Установка и запуск
WebLLM можно установить через менеджеры пакетов, такие как npm или yarn:
npm install @mlc-ai/web-llm
yarn add @mlc-ai/web-llm
Также можно подключить WebLLM напрямую через CDN:
import * as webllm from "https://esm.run/@mlc-ai/web-llm";
После установки необходимо инициализировать двигатель модели с использованием интерфейса MLCEngine. Это может занять некоторое время, так как необходимо будет загрузить модель:
const engine = await CreateMLCEngine(selectedModel);
Ограничения
В проекте есть несколько ограничений, на которые стоит обратить внимание:
- Загрузка моделей может занять значительное время, особенно при первом запуске.
- Для оптимального использования нужно правильно настроить кэширование и выбирать подходящие методы кэширования, такие как
indexeddbилиcache. - Некоторые функции, такие как вызов функций, могут находиться на стадии разработки (WIP).
Дополнительные возможности
WebLLM поддерживает кэширование для улучшения производительности и интеграцию модели с помощью рабочего процесса для обработки тяжелых вычислений. Также доступны примеры использования, которые можно просмотреть для ознакомления с проектом.
Радар проекта: 78 из 100 — зрелый и живой проект
- Импульс 29 ≈ 4 звезды в день
- Темп разработки 58 26 коммитов за 12 недель
- Зрелость 82 проекту 3 года, 8 релизов
- Сообщество 81 59 участников, 1413 форков
- Свежесть 99 последний коммит — 2 дня назад
- Быстрый старт 75 есть: команда установки, сайт/демо, примеры
- Готовность к продакшену 75 релиз v0.2.88, автосборка, тесты
- Безопасность и доверие 100 лицензия Apache-2.0, SECURITY.md, организация
- Документация 98 README 26 тыс. знаков, 30 разделов, папка docs
- Экосистема 81 137 подписчиков на обновления, 7 тем
Как считаем
Только открытые данные GitHub на 14.11.2026, без оценок нейросети. Каждая ось — от 0 до 100, итог — среднее.
- Импульс — звёзд в день: за время наших замеров, а пока их нет — за всю жизнь проекта; 200 в день — максимум.
- Темп разработки — коммитов за последние 12 недель; 300 — максимум. Пока GitHub не досчитал статистику, ось не учитывается.
- Зрелость — возраст проекта (3 года — максимум) и число релизов (30 — максимум), поровну.
- Сообщество — участников с коммитами (200 — максимум) и форков (5000 — максимум), поровну.
- Свежесть — дней с последнего коммита: сегодня — 100, полгода и больше или архив — 0.
- Быстрый старт — в README есть команда установки, раздел «быстрый старт» или примеры использования, в репозитории — Docker и папка примеров, у проекта есть сайт или демо.
- Готовность к продакшену — релизы, версия 1.0 и выше, автосборка (GitHub Actions), тесты, лицензия, журнал изменений.
- Безопасность и доверие — открытая лицензия (своя — половина балла), политика безопасности (SECURITY.md), проект организации, правила для участников, не в архиве.
- Документация — объём и структура README, папка docs или сайт, оценка «здоровья сообщества» GitHub.
- Экосистема — звёзды (50 тыс. — максимум), подписчики на обновления (1000 — максимум), темы репозитория.
Открыть на GitHub: mlc-ai/web-llm →
RepoRadar