該項目利用WebGPU加速，無需服務器支持，所有操作都在瀏覽器內運行。 主要特點：
- 支持多種模型： 支持多種模型，包括Llama 2 7B/13B、Llama 2 70B、Mistral 7B以及WizardMath等。
- 運行環境和要求： 項目在Chrome 113中提供WebGPU支持。用戶可以在支持的瀏覽器中直接嘗試不同的模型。首次運行時需要下載模型參數，之後的運行將更快。
- 聊天演示： 提供了基於Llama 2、Mistral-7B及其變體和RedPajama-INCITE-Chat-3B-v1模型的聊天演示。未來還將支持更多模型。
- 開源和開發支持： 項目鼓勵開發者使用WebLLM作為基礎npm包，並在其上構建自己的Web應用程序。相關文檔和GitHub資源可供參考。 項目目標與願景： 該項目旨在為生態系統帶來更多多樣性，尤其是將LLMs直接嵌入到客戶端並在瀏覽器內運行。這樣做可以降低成本、增強個性化和保護隱私。
GitHub：https://github.com/mlc-ai/web-llm
官網：https://webllm.mlc.ai