开源AI引擎

WebLLM

webllm.mlc.ai

WebLLM是专注于浏览器端运行大语言模型的推理引擎，核心定位是通过WebGPU硬件加速技术，让大语言模型推理完全在用户本地浏览器执行，无需依赖远程服务器。核心功能包括WebGPU硬件加速推理、多模型适配支持、OpenAI API兼容对接，面向前端开发者、AI应用创作者、隐私敏感需求用户，可用于搭建本地AI助手、无服务器AI交互组件、离线AI工具、隐私导向AI问答系统等场景，在降低服务部署成本的同时，保障用户交互数据不会上传至第三方服务器。