
编辑评分 85/100
网站简介
llama.cpp是开源C/C++实现的大模型推理框架,支持多硬件架构加速、多精度模型量化,可实现大模型低资源本地部署,降低大模型落地门槛,目前GitHub星标超13万,Fork量超25.3万。
在中文导航的收录体系中,llama.cpp归入AI开源分类,页面上方提供直达官网的入口,下方列出了同分类的站点,方便横向对比后决定要不要收藏。
上方大图是llama.cpp官网页面的实拍快照,栏目布局与视觉风格一目了然;点击图片可放大细看,觉得合适再从页面顶部的入口跳转官网,避免盲点开陌生站点。
核心功能
一键安装
支持通过curl、powershell命令执行安装脚本,无需复杂依赖配置即可完成部署
模型调用
可直接指定Hugging Face的GGUF格式模型路径,一键加载运行大模型或多模态模型
API服务
执行llama serve命令即可启动兼容OpenAI接口的API服务,支持第三方工具对接
多精度量化
支持1.5bit到8bit全范围整数量化,可根据硬件资源选择对应量化等级的模型
多硬件适配
覆盖苹果芯片、x86、RISC-V、NVIDIA/AMD显卡等架构,自动适配硬件加速
混合推理
支持CPU+GPU混合调度,可运行显存容量不足的大模型,提升推理效率
内置UI
启动服务后可访问内置Web界面,无需额外工具即可实现大模型交互对话
Docker部署
提供官方Docker镜像,执行对应命令即可快速在容器环境中运行服务
使用指南
- 1
访问官网https://llamacpp.org,查看对应操作系统的安装命令,复制到本地终端
- 2
执行安装命令,等待脚本自动下载适配当前硬件的二进制文件,完成安装
- 3
安装完成后,在终端输入llama --version命令,验证安装是否成功,返回版本号即为正常
- 4
选择所需的GGUF格式大模型,可直接通过-hf参数指定Hugging Face模型仓库地址
- 5
若需本地交互,输入llama cli -hf 模型地址命令,等待模型加载完成即可开始对话
- 6
若需搭建API服务,输入llama serve -hf 模型地址命令,启动本地API服务
- 7
打开浏览器访问默认服务地址
- 8
1:8080,使用内置Web界面与大模型进行交互
- 9
若需自定义配置,可修改启动参数调整量化等级、端口号、线程数等配置项
优势亮点
纯C/C++实现,无需安装额外运行库,单二进制文件即可完成部署
支持几乎所有主流硬件架构,自动适配对应加速方案,无需手动配置
覆盖1.5bit到8bit全精度量化,可根据硬件资源灵活选择模型规格
支持GGUF通用模型格式,兼容绝大多数开源大模型,工具链丰富
编辑推荐
llama.cpp是当前全球活跃度较高的开源大模型推理框架之一,与同类推理框架如TensorRT-LLM、vLLM相比,其最大优势是无额外依赖、跨硬件适配能力更强,可覆盖从嵌入式设备到云端服务器的全场景推理需求,而TensorRT-LLM仅适配NVIDIA显卡,vLLM对硬件资源要求更高。该项目采用MIT开源协议,完全免费开放,无商业授权限制,官方主要通过周边生态服务、企业定制支持实现商业变现。从市场数据来看,截至2024年,该项目GitHub星标超13万,Fork量超25.3万,累计被超80%的大模型落地项目采用作为本地推理底座,未来随着边缘AI、私有大模型需求的爆发,llama.cpp的市场渗透率将进一步提升,有望成为大模型推理领域的通用标准。
常见问题
深度了解
llama.cpp是由ggml-org团队开发的开源C/C++大模型推理框架,核心目标是实现大模型低门槛、高性能部署,覆盖从消费级设备到云端服务器的全场景推理需求,目前已成为大模型本地部署领域应用较广泛的开源工具之一。
该框架支持多硬件架构加速,覆盖苹果硅、x86、RISC-V、NVIDIA/AMD显卡、华为昇腾等主流硬件,支持1.5bit到8bit全范围整数量化,可大幅降低大模型运行的内存占用,同时支持CPU+GPU混合推理、OpenAI兼容API搭建、内置Web交互界面等功能,无需复杂配置即可快速部署大模型服务。
llama.cpp可应用于多类场景:边缘设备端可部署离线大模型实现本地语音交互、图像识别等功能;个人用户可在普通电脑上本地运行大模型,保障数据隐私;中小企业可快速搭建内部私有大模型服务,降低云端API调用成本。
与同类推理工具相比,llama.cpp无额外依赖,安装部署复杂度更低,跨硬件适配能力更强,而TensorRT-LLM仅支持NVIDIA显卡,vLLM对硬件配置要求较高,更适合云端高算力场景,llama.cpp的适用场景覆盖范围更广。
AI开发人员可使用llama.cpp快速验证模型推理效果,边缘开发人员可将其作为嵌入式大模型的推理底座,个人AI爱好者可通过其实现本地大模型运行需求,中小企业技术人员可基于其搭建低成本私有大模型服务。
使用须知
定价: llama.cpp采用MIT开源协议,所有核心功能完全免费开放,无任何使用门槛,适合所有个人用户、开发人员及中小企业使用,官方提供的企业级定制支持服务收费,具体定价以官网公示为准。
价格和授权政策可能变化,请以官网最新信息为准
资料由中文导航编辑部整理并经健康检测核验,定期复查更新。
本页信息核对于 2026/11/10,收录信息以收录当日官网状态为准,如发现内容过期请通过下方反馈告知。
访问第三方网站时,请注意以下事项:
- 谨慎提供个人账号、密码和支付信息
- 下载文件前确认来源安全,警惕诱导性广告
- 涉及版权素材使用时,请核实授权范围
- 如遇网站无法访问或内容异常,可反馈给我们
帮助我们维护准确的收录数据,纠错会进入编辑复核队列
用过llama.cpp?说说你的真实体验
你的点评会帮助更多人选型避坑——匿名发表,无需注册,30 秒即可完成
用户评价
还没有评分
成为第一个评价 llama.cpp 的人
我的评分
随下方评论一并提交
热度数据
按站内点击统计2
站内总点击
#-
同类排名 / 15 站
1
同类点击中位数