WebGPU

Rakis

rakis.ai

Rakis是基于浏览器运行的去中心化AI推理网络平台，依托区块链技术实现节点间AI推理请求分发与结果共享，无需中心化服务器即可完成AI模型的分布式执行。平台支持WebGPU兼容设备接入，普通用户可通过浏览器贡献闲置算力参与推理过程，所有项目代码开源，具备透明度与可验证性，主要面向AI开发者、区块链从业者、算力资源提供者、Web3应用建设者等群体，可用于低成本AI推理部署、分布式算力网络搭建、隐私友好型AI服务开发、开源AI生态建设等场景，目前聚焦解决去中心化AI推理领域的确定性、可扩展性与安全性相关问题。

WebLLM

webllm.mlc.ai

WebLLM是专注于浏览器端运行大语言模型的推理引擎，核心定位是通过WebGPU硬件加速技术，让大语言模型推理完全在用户本地浏览器执行，无需依赖远程服务器。核心功能包括WebGPU硬件加速推理、多模型适配支持、OpenAI API兼容对接，面向前端开发者、AI应用创作者、隐私敏感需求用户，可用于搭建本地AI助手、无服务器AI交互组件、离线AI工具、隐私导向AI问答系统等场景，在降低服务部署成本的同时，保障用户交互数据不会上传至第三方服务器。