
编辑评分 87/100
网站简介
llama.cpp是开源LLM推理框架,支持多硬件适配、低比特量化推理、OpenAI兼容接口部署,可帮助用户低成本实现本地大模型运行,GitHub星标超13.5万、fork超25.6万。
在中文导航的收录体系中,llama.cpp归入AI开源分类,页面上方提供直达官网的入口,下方列出了同分类的站点,方便横向对比后决定要不要收藏。
上方大图是llama.cpp官网页面的实拍快照,栏目布局与视觉风格一目了然;点击图片可放大细看,觉得合适再从页面顶部的入口跳转官网,避免盲点开陌生站点。
核心功能
多硬件支持
适配苹果硅、x86、RISC-V、NVIDIA/AMD显卡等多类硬件运行推理任务
模型量化
支持1.5bit到8bit全档位量化,修改量化参数即可降低模型内存占用
混合推理
开启CPU+GPU混合模式,可运行显存容量不足的大尺寸LLM模型
兼容API
启动serve命令即可部署符合OpenAI接口规范的对外API服务
一键安装
执行官方提供的curl或powershell命令,可直接完成工具安装
VLM支持
内置多模态处理能力,输入图文混合内容即可完成VLM推理任务
内置UI
启动serve服务后访问对应端口,可直接使用内置网页交互界面
格式转换
运行自带转换脚本,可将Hugging Face格式模型转为GGUF格式
使用指南
- 1
访问llama.cpp官方网站,在首页获取对应操作系统的一键安装命令
- 2
打开本地终端工具,粘贴复制的安装命令执行,等待安装完成提示
- 3
从Hugging Face选择适配的GGUF格式大模型,记录模型仓库地址
- 4
终端执行llama cli -hf 模型地址命令,等待模型下载完成进入交互界面
- 5
输入推理问题,等待工具返回大模型输出结果,测试基础推理功能
- 6
如需部署API服务,执行llama serve -hf 模型地址命令启动服务
- 7
访问本地对应端口,可使用内置网页UI与大模型进行交互操作
- 8
如需调整量化档位,在启动命令后添加对应量化参数即可生效
优势亮点
纯C/C++实现,无需安装额外依赖库,部署流程简单易操作
覆盖主流CPU、GPU、NPU等硬件,适配设备类型范围广泛
支持1.5bit到8bit全档位量化,可灵活平衡推理性能和效果
社区活跃度高,支持主流大模型格式,配套工具链齐全
编辑推荐
与同类推理框架如vLLM、Text Generation Inference相比,llama.cpp的优势是无额外依赖、轻量化程度高、支持低配置硬件运行,缺点是分布式推理能力相对较弱,更适合单机和边缘端场景。项目完全开源,采用MIT协议,无官方付费版本,核心团队通过社区捐赠、企业定制服务获得收入,目前没有大规模商业化变现的明确规划。随着边缘AI需求的快速增长,llama.cpp凭借其轻量多硬件适配的特性,将成为边缘端LLM部署的主流选择,未来有望覆盖更多低算力硬件场景。目前该项目是AI推理领域星标最高的开源项目之一,全球有超百万开发者使用,超过5000个开源AI项目基于该框架开发,在边缘AI推理赛道的市场占有率超过40%。
常见问题
深度了解
llama.cpp是ggml-org团队开发的开源LLM推理框架,基于C/C++实现,无额外依赖,核心定位是为不同硬件提供轻量高效的大模型推理能力,目前托管在GitHub平台,累计星标超13.5万,是AI推理领域的热门开源项目。
该框架支持苹果硅、x86、RISC-V等多架构CPU,NVIDIA、AMD、摩尔线程等多品牌GPU,以及华为昇腾NPU等专用AI芯片适配;支持1.5bit到8bit全档位模型量化,可大幅降低模型内存占用;支持CPU+GPU混合推理,可运行超过显存容量的大模型;自带OpenAI兼容API接口,一键即可部署私有AI服务。
llama.cpp可用于个人用户本地运行大模型,避免公有API调用成本;可用于嵌入式设备部署离线AI功能,实现边缘端智能交互;可用于中小企业搭建内部私有AI服务,处理敏感业务数据;可用于科研人员开展大模型推理优化相关实验。
与vLLM等面向云端高算力场景的推理框架相比,llama.cpp的轻量化特性更适合低配置硬件和边缘端场景,部署成本更低,无需复杂的环境配置;相比其他轻量推理框架,llama.cpp的社区生态更完善,支持的模型和硬件类型更丰富。
有本地大模型部署需求的个人AI爱好者、需要在边缘端部署AI功能的嵌入式开发人员、需要搭建内部私有AI服务的中小企业技术人员、从事大模型推理优化研究的科研人员,均可尝试使用该框架。
使用须知
定价: llama.cpp为完全开源项目,采用MIT开源协议,所有用户均可免费下载使用全部功能,无官方付费版本,不存在使用门槛限制,适合所有有相关需求的用户使用,具体使用规则可查看官网开源协议说明,后续若推出付费服务以官网定价为准。
价格和授权政策可能变化,请以官网最新信息为准
资料由中文导航编辑部整理并经健康检测核验,定期复查更新。
本页信息核对于 2026/11/14,收录信息以收录当日官网状态为准,如发现内容过期请通过下方反馈告知。
访问第三方网站时,请注意以下事项:
- 谨慎提供个人账号、密码和支付信息
- 下载文件前确认来源安全,警惕诱导性广告
- 涉及版权素材使用时,请核实授权范围
- 如遇网站无法访问或内容异常,可反馈给我们
帮助我们维护准确的收录数据,纠错会进入编辑复核队列
用过llama.cpp?说说你的真实体验
你的点评会帮助更多人选型避坑——匿名发表,无需注册,30 秒即可完成
用户评价
还没有评分
成为第一个评价 llama.cpp 的人
我的评分
随下方评论一并提交
热度数据
按站内点击统计2
站内总点击
#-
同类排名 / 15 站
1
同类点击中位数