本地推理

llamafile是Mozilla推出的开源AI工具，将llama.cpp与Cosmopolitan Libc结合，支持单文件打包运行大模型，兼容多操作系统，无需复杂配置，已获GitHub 26.3k星标，降低本地LLM使用门槛

基于WebGPU的浏览器端大语言模型本地推理引擎 WebLLM是依托WebGPU硬件加速的浏览器端大语言模型推理引擎，所有推理操作均在客户端浏览器内完成，无需后端服务器处理。项目目标是实现LLM客户端部署，可降低部署运营成本，增强个性化能力，保护用户数据隐私。它支持多种模型，兼容OpenAI API，支持流式实时交互，方便开发者集成。