LPU架构

Groq是专注于AI推理场景的新一代云服务平台，自研语言处理单元LPU专为大模型推理优化，可与NVIDIA GPU协同工作。平台面向开发者提供全栈集成式AI推理能力，支持大模型以极低延迟生成token输出，开放API接口供开发者接入调用，适配大规模推理业务部署需求。